1. 首页
  2. IT资讯

每日一题:如何保证消息不被重复消费?

“u003Cpu003EJava后端,选择“”u003Cu002Fpu003Eu003Cpu003E优质文章,及时送达u003Cu002Fpu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002FRcsUnd92eoboDR” img_width=”640″ img_height=”29″ alt=”每日一题:如何保证消息不被重复消费?” inline=”0″u003Eu003Cpu003E原文来自 GitHub 开源社区 Doocs,欢迎 Star 此项目,如果你有独到的见解,同样可以参与贡献此项目。u003Cu002Fpu003Eu003Cpu003Eu003Cu002Fpu003Eu003Ch1 toutiao-origin=”h2″u003E面试题u003Cu002Fh1u003Eu003Cpu003E如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性?u003Cu002Fpu003Eu003Cpu003Eu003Cstrong toutiao-origin=”strong” class=”highlight-text”u003E面试官心理分析u003Cu002Fstrongu003Eu003Cu002Fpu003Eu003Cpu003E其实这是很常见的一个问题,这俩问题基本可以连起来问。既然是消费消息,那肯定要考虑会不会重复消费?能不能避免重复消费?或者重复消费了也别造成系统异常可以吗?这个是 MQ 领域的基本问题,其实本质上还是问你u003Cstrong toutiao-origin=”span”u003E使用消息队列如何保证幂等性u003Cu002Fstrongu003E,这个是你架构里要考虑的一个问题。u003Cu002Fpu003Eu003Cpu003Eu003Cstrong toutiao-origin=”strong” class=”highlight-text”u003E面试题剖析u003Cu002Fstrongu003Eu003Cu002Fpu003Eu003Cpu003E回答这个问题,首先你别听到重复消息这个事儿,就一无所知吧,你先大概说一说可能会有哪些重复消费的问题。u003Cu002Fpu003Eu003Cpu003E首先,比如 RabbitMQ、RocketMQ、Kafka,都有可能会出现消息重复消费的问题,正常。因为这问题通常不是 MQ 自己保证的,是由我们开发来保证的。挑一个 Kafka 来举个例子,说说怎么重复消费吧。u003Cu002Fpu003Eu003Cpu003EKafka 实际上有个 offset 的概念,就是每个消息写进去,都有一个 offset,代表消息的序号,然后 consumer 消费了数据之后,每隔一段时间(定时定期),会把自己消费过的消息的 offset 提交一下,表示“我已经消费过了,下次我要是重启啥的,你就让我继续从上次消费到的 offset 来继续消费吧”。u003Cu002Fpu003Eu003Cpu003E但是凡事总有意外,比如我们之前生产经常遇到的,就是你有时候重启系统,看你怎么重启了,如果碰到点着急的,直接 kill 进程了,再重启。这会导致 consumer 有些消息处理了,但是没来得及提交 offset,尴尬了。重启之后,少数消息会再次消费一次。u003Cu002Fpu003Eu003Cpu003E举个栗子。u003Cu002Fpu003Eu003Cpu003E有这么个场景。数据 1u002F2u002F3 依次进入 kafka,kafka 会给这三条数据每条分配一个 offset,代表这条数据的序号,我们就假设分配的 offset 依次是 152u002F153u002F154。消费者从 kafka 去消费的时候,也是按照这个顺序去消费。假如当消费者消费了 u003Ccodeu003Eoffset=153u003Cu002Fcodeu003E的这条数据,刚准备去提交 offset 到 zookeeper,此时消费者进程被重启了。那么此时消费过的数据 1u002F2 的 offset 并没有提交,kafka 也就不知道你已经消费了u003Ccodeu003Eoffset=153u003Cu002Fcodeu003E这条数据。那么重启之后,消费者会找 kafka 说,嘿,哥儿们,你给我接着把上次我消费到的那个地方后面的数据继续给我传递过来。由于之前的 offset 没有提交成功,那么数据 1u002F2 会再次传过来,如果此时消费者没有去重的话,那么就会导致重复消费。u003Cu002Fpu003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002FRdQOYUf36zKipz” img_width=”568″ img_height=”454″ alt=”每日一题:如何保证消息不被重复消费?” inline=”0″u003Eu003Cpu003E如果消费者干的事儿是拿一条数据就往数据库里写一条,会导致说,你可能就把数据 1u002F2 在数据库里插入了 2 次,那么数据就错啦。u003Cu002Fpu003Eu003Cpu003E其实重复消费不可怕,可怕的是你没考虑到重复消费之后,怎么保证幂等性。u003Cu002Fpu003Eu003Cpu003E举个例子吧。假设你有个系统,消费一条消息就往数据库里插入一条数据,要是你一个消息重复两次,你不就插入了两条,这数据不就错了?但是你要是消费到第二次的时候,自己判断一下是否已经消费过了,若是就直接扔了,这样不就保留了一条数据,从而保证了数据的正确性。u003Cu002Fpu003Eu003Cpu003E一条数据重复出现两次,数据库里就只有一条数据,这就保证了系统的幂等性。u003Cu002Fpu003Eu003Cpu003E幂等性,通俗点说,就一个数据,或者一个请求,给你重复来多次,你得确保对应的数据是不会改变的,不能出错。u003Cu002Fpu003Eu003Cpu003E所以第二个问题来了,怎么保证消息队列消费的幂等性?u003Cu002Fpu003Eu003Cpu003E其实还是得u003Ci class=”chrome-extension-mutihighlight chrome-extension-mutihighlight-style-3″u003E结合u003Cu002Fiu003E业务来思考,我这里给几个思路:u003Cu002Fpu003Eu003Culu003Eu003Cliu003Eu003Cpu003E比如你拿个数据要写库,你先根据主键查一下,如果这数据都有了,你就别插入了,update 一下好吧。u003Cu002Fpu003Eu003Cu002Fliu003Eu003Cliu003Eu003Cpu003E比如你是写 Redis,那没问题了,反正每次都是 set,天然幂等性。u003Cu002Fpu003Eu003Cu002Fliu003Eu003Cliu003Eu003Cpu003E比如你不是上面两个场景,那做的稍微复杂一点,你需要让生产者发送每条数据的时候,里面加一个全局唯一的 id,类似订单 id 之类的东西,然后你这里消费到了之后,先根据这个 id 去比如 Redis 里查一下,之前消费过吗?如果没有消费过,你就处理,然后这个 id 写 Redis。如果消费过了,那你就别处理了,保证别重复处理相同的消息即可。u003Cu002Fpu003Eu003Cu002Fliu003Eu003Cliu003Eu003Cpu003E比如基于数据库的唯一键来保证重复数据不会重复插入多条。因为有唯一键约束了,重复数据插入只会报错,不会导致数据库中出现脏数据。u003Cu002Fpu003Eu003Cu002Fliu003Eu003Cu002Fulu003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002FRdQOYUw18Y17bY” img_width=”401″ img_height=”371″ alt=”每日一题:如何保证消息不被重复消费?” inline=”0″u003Eu003Cpu003E当然,如何保证 MQ 的消费是幂等性的,需要u003Ci class=”chrome-extension-mutihighlight chrome-extension-mutihighlight-style-3″u003E结合u003Cu002Fiu003E具体的业务来看。u003Cu002Fpu003Eu003Cpu003E-END-u003Cu002Fpu003Eu003Cpu003E如果看到这里,说明你喜欢这篇文章,帮忙u003Cstrong toutiao-origin=”span” class=”highlight-text”u003E转发u003Cu002Fstrongu003E一下吧,感谢。u003Ci class=”chrome-extension-mutihighlight chrome-extension-mutihighlight-style-4″u003E微信u003Cu002Fiu003Eu003Ci class=”chrome-extension-mutihighlight chrome-extension-mutihighlight-style-4″u003E搜索u003Cu002Fiu003E「web_resource」,u003Ci class=”chrome-extension-mutihighlight chrome-extension-mutihighlight-style-6″u003E关注u003Cu002Fiu003E后即可获取每日一题的推送。u003Cu002Fpu003E”

原文始发于:每日一题:如何保证消息不被重复消费?

主题测试文章,只做测试使用。发布者:℅傍ㄖ免沦陷dε鬼,转转请注明出处:http://www.cxybcw.com/18022.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code