消费失败重试机制
當消費者出現異常后,消息會不斷requeue(重入隊)到隊列,再重新發送給消費者,然后再次異常,再次requeue,無限循環,導致mq的消息處理飆升,帶來不必要的壓力:
?
怎么辦呢?
本地重試
我們可以利用Spring的retry機制,在消費者出現異常時利用本地重試,而不是無限制的requeue到mq隊列。
修改consumer服務的application.yml文件,添加內容:
spring:rabbitmq:listener:simple:retry:enabled: true # 開啟消費者失敗重試initial-interval: 1000 # 初識的失敗等待時長為1秒multiplier: 1 # 失敗的等待時長倍數,下次等待時長 = multiplier * last-intervalmax-attempts: 3 # 最大重試次數stateless: true # true無狀態;false有狀態。如果業務中包含事務,這里改為false重啟consumer服務,重復之前的測試。可以發現:
-
在重試3次后,SpringAMQP會拋出異常AmqpRejectAndDontRequeueException,說明本地重試觸發了
-
查看RabbitMQ控制臺,發現消息被刪除了,說明最后SpringAMQP返回的是ack,mq刪除消息了
結論:
-
開啟本地重試時,消息處理過程中拋出異常,不會requeue到隊列,而是在消費者本地重試
-
重試達到最大次數后,Spring會返回ack,消息會被丟棄
失敗策略
在之前的測試中,達到最大重試次數后,消息會被丟棄,這是由Spring內部機制決定的。
在開啟重試模式后,重試次數耗盡,如果消息依然失敗,則需要有MessageRecovery接口來處理,它包含三種不同的實現:
-
RejectAndDontRequeueRecoverer:重試耗盡后,直接reject,丟棄消息。默認就是這種方式
-
ImmediateRequeueMessageRecoverer:重試耗盡后,返回nack,消息重新入隊
-
RepublishMessageRecoverer:重試耗盡后,將失敗消息投遞到指定的交換機
比較優雅的一種處理方案是RepublishMessageRecoverer,失敗后將消息投遞到一個指定的,專門存放異常消息的隊列,后續由人工集中處理。
1)在consumer服務中定義處理失敗消息的交換機和隊列
@Bean public DirectExchange errorMessageExchange(){return new DirectExchange("error.direct"); } @Bean public Queue errorQueue(){return new Queue("error.queue", true); } @Bean public Binding errorBinding(Queue errorQueue, DirectExchange errorMessageExchange){return BindingBuilder.bind(errorQueue).to(errorMessageExchange).with("error"); }2)定義一個RepublishMessageRecoverer,關聯隊列和交換機
@Bean public MessageRecoverer republishMessageRecoverer(RabbitTemplate rabbitTemplate){return new RepublishMessageRecoverer(rabbitTemplate, "error.direct", "error"); }完整代碼:
import org.springframework.amqp.core.Binding; import org.springframework.amqp.core.BindingBuilder; import org.springframework.amqp.core.DirectExchange; import org.springframework.amqp.core.Queue; import org.springframework.amqp.rabbit.core.RabbitTemplate; import org.springframework.amqp.rabbit.retry.MessageRecoverer; import org.springframework.amqp.rabbit.retry.RepublishMessageRecoverer; import org.springframework.context.annotation.Bean;@Configuration public class ErrorMessageConfig {@Beanpublic DirectExchange errorMessageExchange(){return new DirectExchange("error.direct");}@Beanpublic Queue errorQueue(){return new Queue("error.queue", true);}@Beanpublic Binding errorBinding(Queue errorQueue, DirectExchange errorMessageExchange){return BindingBuilder.bind(errorQueue).to(errorMessageExchange).with("error");}@Beanpublic MessageRecoverer republishMessageRecoverer(RabbitTemplate rabbitTemplate){return new RepublishMessageRecoverer(rabbitTemplate, "error.direct", "error");} }總結
如何確保RabbitMQ消息的可靠性?
-
開啟生產者確認機制,確保生產者的消息能到達隊列
-
開啟持久化功能,確保消息未消費前在隊列中不會丟失
-
開啟消費者確認機制為auto,由spring確認消息處理成功后完成ack
-
開啟消費者失敗重試機制,并設置MessageRecoverer,多次重試失敗后將消息投遞到異常交換機,交由人工處理
總結