10. 消息队列有几种消费语义？

一共有 3 种，分别如下：

  1. 消息至多被消费一次（At most once）：消息可能会丢失，但绝不重传。
  2. 消息至少被消费一次（At least once）：消息可以重传，但绝不丢失。
  3. 消息仅被消费一次（Exactly once）：每一条消息只被传递一次。

为了支持上面 3 种消费语义，可以分 3 个阶段，考虑消息队列系统中Producer、Message Broker、Consumer 需要满足的条件。

下面的内容，可能比较绕，胖友耐心理解。

? 1. 消息至多被消费一次

该语义是最容易满足的，特点是整个消息队列吞吐量大，实现简单。适合能容忍丢消息，~消息重复消费的任务~（和厮大沟通了下，这句话应该是错的，所以去掉）。

和晓峰又讨论了下，“~消息重复消费的任务~”的意思是，因为不会重复投递，所以间接解决了消息重复消费的问题。

  • Producer 发送消息到 Message Broker 阶段
    • Producer 发消息给Message Broker 时，不要求 Message Broker 对接收到的消息响应确认，Producer 也不用关心 Message Broker 是否收到消息了。
  • Message Broker 存储/转发阶段
    • 对 Message Broker 的存储不要求持久性。
    • 转发消息时，也不用关心 Consumer 是否真的收到了。
  • Consumer 消费阶段
    • Consumer 从 Message Broker 中获取到消息后，可以从 Message Broker 删除消息。
    • 或 Message Broker 在消息被 Consumer 拿去消费时删除消息，不用关心 Consumer 最后对消息的消费情况如何。

? 2. 消息至少被消费一次

适合不能容忍丢消息，允许重复消费的任务。

  • Producer 发送消息到 Message Broker 阶段
    • Producer 发消息给 Message Broker ，Message Broker 必须响应对消息的确认。
  • Message Broker 存储/转发阶段
    • Message Broker 必须提供持久性保障。
    • 转发消息时，Message Broker 需要 Consumer 通知删除消息，才能将消息删除。
  • Consumer消费阶段
    • Consumer 从 Message Broker 中获取到消息，必须在消费完成后，Message Broker上的消息才能被删除。

? 3. 消息仅被消费一次

适合对消息消费情况要求非常高的任务，实现较为复杂。

在这里需要考虑一个问题，就是这里的“仅被消费一次”指的是如下哪种场景：

  • Message Broker 上存储的消息被 Consumer 仅消费一次。
  • Producer 上产生的消息被 Consumer 仅消费一次。

① Message Broker 上存储的消息被 Consumer 仅消费一次

  • Producer 发送消息到 Message Broker 阶段
    • Producer 发消息给 Message Broker 时，不要求 Message Broker 对接收到的消息响应确认，Producer 也不用关心Message Broker 是否收到消息了。
  • Message Broker 存储/转发阶段
    • Message Broker 必须提供持久性保障
    • 并且，每条消息在其消费队列里有唯一标识（这个唯一标识可以由 Producer 产生，也可以由 Message Broker 产生）。
  • Consumer 消费阶段
    • Consumer 从 Message Broker中获取到消息后，需要记录下消费的消息标识，以便在后续消费中防止对某个消息重复消费（比如 Consumer 获取到消息，消费完后，还没来得及从 Message Broker 删除消息，就挂了，这样 Message Broker 如果把消息重新加入待消费队列的话，那么这条消息就会被重复消费了）。

② Producer 上产生的消息被 Consumer 仅消费一次

  • Producer 发送消息到 Message Broker 阶段
    • Producer 发消息给 Message Broker 时，Message Broker 必须响应对消息的确认，并且 Producer 负责为该消息产生唯一标识，以防止 Consumer 重复消费（因为 Producer 发消息给Message Broker 后，由于网络问题没收到 Message Broker 的响应，可能会重发消息给到 Message Broker ）。
  • Message Broker 存储/转发阶段
    • Message Broker 必须提供持久性保障
    • 并且，每条消息在其消费队列里有唯一标识（这个唯一标识需要由Producer产生）。
  • Consumer 消费阶段
    • 和【① Message Broker 上存储的消息被 Consumer 仅消费一次】相同。

虽然 3 种方式看起来比较复杂，但是我们会发现，是层层递进，越来越可靠。

实际生产场景下，我们是倾向第 3 种的 ② 的情况，每条消息从 Producer 保证被送达，并且被 Consumer 仅消费一次。当然，重心还是如何保证 Consumer 仅消费一次，虽然说，消息产生的唯一标志可以在框架层级去做排重，但是最稳妥的，还是业务层也保证消费的幂等性。