RabbitMQ消息发布确认
发布确认原理
生产者将信道设置成 confirm 模式，一旦信道进入 confirm 模式， 所有在该信道上面发布的消息都将会被指派一个唯一的 ID(从 1 开始)，一旦消息被投递到所有匹配的队列之后， broker就会发送一个确认给生产者(包含消息的唯一 ID)，这就使得生产者知道消息已经正确到达目的队列了，如果消息和队列是可持久化的，那么确认消息会在将消息写入磁盘之后发出， broker 回传给生产者的确认消息中 delivery-tag 域包含了确认消息的序列号，此外 broker 也可以设置basic.ack 的 multiple 域，表示到这个序列号之前的所有消息都已经得到了处理。
confirm 模式最大的好处在于他是异步的，一旦发布一条消息，生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息，当消息最终得到确认之后，生产者应用便可以通过回调方法来处理该确认消息，如果 RabbitMQ 因为自身内部错误导致消息丢失，就会发送一条 nack 消息，生产者应用程序同样可以在回调方法中处理该 nack 消息。
发布确认的策略
开启发布确认的方法
发布确认默认是没有开启的，如果要开启需要调用方法 confirmSelect，每当你要想使用发布确认，都需要在 channel 上调用该方法
Channel channel = RabbitMqUtils.getChannel();
// 生产者 信道开启发布确认
channel.confirmSelect();
测试方法
发布确认模式
1、单个确认模式
2、批量确认模式
3、异步确认
测试三种确认方式的执行时间
单个确认发布
这是一种简单的确认方式，它是一种同步确认发布的方式，也就是发布一个消息之后只有它被确认发布，后续的消息才能继续发布,waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回，如果在指定时间范围内这个消息没有被确认那么它将抛出异常。
这种确认方式有一个最大的缺点就是:发布速度特别的慢， 因为如果没有确认发布的消息就会阻塞所有后续消息的发布，这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。
// 单个确认
public static void publishMessageOne() throws Exception {
String queueName = "one";
Channel channel = RabbitMqUtils.getChannel();
//声明队列
channel.queueDeclare(queueName,true,false,false,null);
// 开启发布确认
channel.confirmSelect();
// 记录开始时间
long begin = System.currentTimeMillis();
//批量发消息
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("",queueName,null,message.getBytes());
//单个消息 就马上进行发布确认
boolean flag = channel.waitForConfirms();
if (flag){
System.out.println("消息发送成功");
}
}
//结束时间
long end = System.currentTimeMillis();
System.out.println("发布条数："+ MESSAGE_COUNT + "单条消息确认，耗时:" + (end - begin) +"ms");
}
//批量发消息的条数
public static final int MESSAGE_COUNT = 1000;
public static void main(String[] args) throws Exception {
// 单个确认
publishMessageOne();
/**
* 测试第一次 发布条数：1000单条消息确认，耗时:531ms
* 测试第二次 发布条数：1000单条消息确认，耗时:530ms
* 测试第三次 发布条数：1000单条消息确认，耗时:527ms
*/
}
批量确认发布
上面那种方式非常慢，与单个等待确认消息相比，先发布一批消息然后一起确认可以极大地提高吞吐量，当然这种方式的缺点就是:当发生故障导致发布出现问题时， 不知道是哪个消息出现问题了， 我们必须将整个批处理保存在内存中，以记录重要的信息而后重新发布消息。当然这种方案仍然是同步的，也一样阻塞消息的发布 。
// 批量发布确认
public static void publishMessageMultiple() throws Exception {
String queueName = "multiple";
Channel channel = RabbitMqUtils.getChannel();
//声明队列
channel.queueDeclare(queueName,true,false,false,null);
// 开启发布确认
channel.confirmSelect();
// 记录开始时间
long begin = System.currentTimeMillis();
// 批量确认消息条数的大小
int batchSizes = 100;
//批量发消息
for (int i = 0; i <= MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("",queueName,null,message.getBytes());
//发送了100 条 batchSizes 确认一次
if (i % batchSizes == 0){
//全部消息完毕 进行发布确认
boolean flag = channel.waitForConfirms( );
if (flag){
System.out.println("消息发送成功");
}
}
}
//结束时间
long end = System.currentTimeMillis();
System.out.println("发布条数："+ MESSAGE_COUNT + "批量消息确认，耗时:" + (end - begin) +"ms");
}
//批量发消息的条数
public static final int MESSAGE_COUNT = 1000;
public static void main(String[] args) throws Exception {
// 批量确认
publishMessageMultiple();
/**
* 测试第一次 发布条数：1000批量消息确认，耗时:83ms
* 测试第二次 发布条数：1000批量消息确认，耗时:71ms
* 测试第三次 发布条数：1000批量消息确认，耗时:77ms
*/
}
异步确认发布
异步确认虽然编程逻辑比上两个要复杂，但是性价比最高，无论是可靠性还是效率都没得说，他是利用回调函数来达到消息可靠性传递的，这个中间件也是通过函数回调来保证是否投递成功，下面就让我们来详细讲解异步确认是怎么实现的。
// 异步发布确认
public static void publishMessageAsync() throws Exception {
String queueName = "async";
Channel channel = RabbitMqUtils.getChannel();
//声明队列
channel.queueDeclare(queueName,true,false,false,null);
// 开启发布确认
channel.confirmSelect();
// 记录开始时间
long begin = System.currentTimeMillis();
//消息成功回调函数
ConfirmCallback ackCallback = (deliveryTag, multiple)->{
System.out.println("确认消息：" + deliveryTag);
};
//消息失败回调函数
ConfirmCallback nackCallback = (deliveryTag, multiple)->{
System.out.println("未确认消息：" + deliveryTag);
};
// 异步消息监听器。 哪些消息成功？失败？
channel.addConfirmListener(ackCallback,nackCallback);
//批量发消息
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("",queueName,null,message.getBytes());
}
//结束时间
long end = System.currentTimeMillis();
System.out.println("发布条数："+ MESSAGE_COUNT + ",异步消息确认，耗时:" + (end - begin) +"ms");
}
//批量发消息的条数
public static final int MESSAGE_COUNT = 1000;
public static void main(String[] args) throws Exception {
// 单个确认
//publishMessageOne();
/**
* 测试第一次 发布条数：1000单条消息确认，耗时:531ms
* 测试第二次 发布条数：1000单条消息确认，耗时:530ms
* 测试第三次 发布条数：1000单条消息确认，耗时:527ms
*/
// 批量确认
//publishMessageMultiple();
/**
* 测试第一次 发布条数：1000批量消息确认，耗时:83ms
* 测试第二次 发布条数：1000批量消息确认，耗时:71ms
* 测试第三次 发布条数：1000批量消息确认，耗时:77ms
*/
//异步消息确认
publishMessageAsync();
/**
* 测试第一次 发布条数：1000,异步消息确认，耗时:33ms
* 测试第二次 发布条数：1000,异步消息确认，耗时:34ms
* 测试第三次 发布条数：1000,异步消息确认，耗时:32ms
*/
}
//批量发消息的条数
public static final int MESSAGE_COUNT = 1000;
public static void main(String[] args) throws Exception {
//异步消息确认
publishMessageAsync();
/**
* 测试第一次 发布条数：1000,异步消息确认，耗时:33ms
* 测试第二次 发布条数：1000,异步消息确认，耗时:34ms
* 测试第三次 发布条数：1000,异步消息确认，耗时:32ms
*/
}
查看一下异步消息的输出结果
如何处理异步未确认消息
最好的解决的解决方案就是把未确认的消息放到一个基于内存的能被发布线程访问的队列，比如说用 ConcurrentLinkedQueue 这个队列在 confirm callbacks 与发布线程之间进行消息的传递。
// 异步发布确认
public static void publishMessageAsync() throws Exception {
String queueName = "async";
Channel channel = RabbitMqUtils.getChannel();
//声明队列
channel.queueDeclare(queueName,true,false,false,null);
// 开启发布确认
channel.confirmSelect();
/**
* 线程安全有序的哈希表，适用于高并发的情况
* 将序号与消息进关联 k 序号 v消息
* 批量删除消息条数
* 支持高并发（多线程）
*/
ConcurrentSkipListMap<Long,String> outStandConfirm = new ConcurrentSkipListMap<>();
// 消息成功回调函数
ConfirmCallback ackCallback = (deliveryTag, multiple)->{
System.out.println("确认消息：" + deliveryTag);
// 删除已经确认的消息，剩下的就是未确认的消息
if (multiple){ // 批量
ConcurrentNavigableMap<Long, String> confirmedMessage = outStandConfirm.headMap(deliveryTag);
confirmedMessage.clear();
}else { // 单条
outStandConfirm.remove(deliveryTag);
}
};
//消息失败回调函数
ConfirmCallback nackCallback = (deliveryTag, multiple)->{
String nackMessage = outStandConfirm.get(deliveryTag);
System.out.println("未确认消息是：" + nackMessage);
System.out.println("未确认消息序号：" + deliveryTag);
};
// 异步消息监听器。 哪些消息成功？失败？
channel.addConfirmListener(ackCallback,nackCallback);
// 记录开始时间
long begin = System.currentTimeMillis();
// 批量发消息
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("",queueName,null,message.getBytes());
// 记录下所有要发送的消息记录
outStandConfirm.put(channel.getNextPublishSeqNo(),message);
}
//结束时间
long end = System.currentTimeMillis();
System.out.println("发布条数："+ MESSAGE_COUNT + ",异步消息确认，耗时:" + (end - begin) +"ms");
}
结论
- 单独发布消息
同步等待确认， 简单，但吞吐量非常有限。 - 批量发布消息
批量同步等待确认， 简单，合理的吞吐量， 一旦出现问题但很难推断出是那条消息出现了问题。 - 异步处理：
最佳性能和资源使用，在出现错误的情况下可以很好地控制，但是实现起来稍微难些
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码