解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
(资料图)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
相关推荐:
最新新闻:
- 凉山公安通报木里“5.27”森林火灾:系雷击引发 火情已得到控制 全球热点评
- 新宁夏 话振兴|面对未来,“薯”光无限_独家
- 解剖屎山,寻觅黄金之第二弹
- 焦点播报:图片报确认:凯恩已做出决定,他拒绝了拜仁
- 辽宁突发龙卷风!多趟高铁停驶 全球聚看点
- 天天观察:专升本好还是专接本好_专接本和专升本哪个好
- 英雄远征加点_英雄远征答题
- 全球微资讯!辅助轮一高一低会容易摔倒吗(辅助轮一高一低是为什么)
- 我的家在哪里:支付宝我的家在哪里_天天精选
- 中考分几个等级(中考300分是什么等级)
- 世界观天下!农民工子女走进工地体验奇妙“消防课堂”
- 世界热讯:甘肃榆中:兴隆初夏 生机盎然
- 【播资讯】北京朝阳北部将新添39公里城市绿道,预计明年9月投用
- 根痛平颗粒和胶囊哪个效果好_根痛平颗粒
- 钱江水利与陆丰市政府签订战略合作协议
- 平遥国际电影展人人都可以去吗
- 全球速看:登录任天堂账号奇葩图像认证:尴尬路人不知已上镜
- 天天短讯!蒲公英泡水喝功效与主治(浦公英)
- 微速讯:Epic喜加一:《午夜猎魂》免费领取、下周神秘游戏
- 每日看点!《星空》限定Xbox手柄包装疑似泄露:或于6月推出 售价566元
- 兰州马拉松直播视频全程回放(观看入口汇总)
- 尾椎骨骨折要休息多久_尾椎骨骨折
- 埃德斯塔福特单挑荒野全集中文版_埃德斯塔福特是哪里人
- 4月香港零售业总销货价值临时估计为347亿港元 同比上升15.0%
- c25混凝土回弹强度达到多少合格(c25混凝土回弹值不低于多少合格) 每日速讯
- 木星简笔画视频_木星简笔画_全球即时
- 天天亮点!50万大额存单利率4.05%多少利息?50万大额存单利率4.05%可以拿到多少钱?
- 《最终幻想16》Demo出现在PS商城!但暂未开启下载-天天观热点
- 桦甸市气象局发布雷电黄色预警【III级/较重】【2023-06-01】 要闻速递
- 《漫威蜘蛛侠2》配音演员回应发布会演示:你们只是看到冰山一角_世界最资讯
- 马来西亚多媒体大学博士【招生简章】_天天通讯
- 天天快消息!坐过复古铛铛车,才知道什么叫“有鬼列车”
- 天天动态:舍利是什么梗_舍利是什么
- 2013格莱美颁奖典礼|要闻
- 午评:这个板块 看上去还得涨
- 全球资讯:一图看懂moto razr 40系列折叠屏,定义“小折叠终极形态”
- 连续2月突破400亿!半导体IPO募资狂飙
- 省交管局部署2023年高考期间交通管理工作 全球今头条
- 泰福泵业(300992.SZ):股东毛世俊拟减持不超1.0%股份_天天观天下
- 中梁控股66亿境外债将重组:已获部分债权人同意,“发新换旧”欲展期3.5年 全球热文
- 卡戴珊重男轻女言论引全网狂骂!逼弟弟生儿子延续家族香火:90岁前总能生出来…
- 世界飞人博尔特 飞人博尔特
- 世界视讯!美股盘前|英伟达涨超1%;京东涨超1% 大摩予60美元目标价
- 世界热点!马斯克中国行24小时见了3位部长_打脸白宫“脱钩断链”
- 游民金币兑换礼品上新啦~ 承包你的“吃喝玩乐” 热门看点
- 《小美人鱼》IMDb遭差评轰炸!官方出手整治
- 《红霞岛》翻车背后:领导一意孤行 员工很困惑-播资讯
- moto razr 40折叠屏发布:3999元起
- moto razr 40 Ultra发布:折起来也是全面屏
- 3999元起!摩托罗拉moto razr 40系列折叠屏新机正式发布
- 3999元起!摩托罗拉moto razr 40系列折叠屏新机正式发布
- 环球热推荐:moto razr 40 Ultra售价公布:5699元起 顶配6399元
- moto razr 40折叠屏发布:3999元起
- 环球看点!76人消息:纳斯上任原因出炉,哈登备胎曝光,名宿痛批大帝
- 比亚迪股份:5月新能源车销量为240,220辆|全球实时
- 当前观点:节目刚播一期就退出 她是耍大牌吗?
- 小波特:从小到大我最喜欢杜兰特 还记得看他和勒布朗打总决赛|焦点热议
- 老人买什么保险最好最便宜_老人买什么保险最好
- 今热点:福田区保税区外国语小学2023秋季小一网上报名指引
- 苹果直播营销,炫彩AirPods曝光 全球新消息
- 平安银行沈阳分行被罚130万元,7名责任人被警告
- PS5版《街霸6》上架百亿补贴:售价低至326元!
- 每日快讯!手工耿回应“中国林克”:我只知道《七龙珠》克林
- B站正式会员突破2亿:付费大会员数超2000万!
- 今日精选:专家提示重视儿童心理健康教育 加强心理疾病早期干预
- 18599元/斤?!杭州小伙20年前的闲置,价格暴涨10倍!|要闻
- 吉田:《最终幻想16》玩起来就像一部好莱坞大片-当前速看
- 新华时评·人文经济学 | 共识、共为、共享——人文经济相融共生的苏州启示
- 女子跳河轻生 “95后”大学生带头救人
- 2023年6月1日江苏省异辛醇价格最新行情预测|天天新消息
- 三星2TB固态SSD只要999元!
- 3.6英寸外屏亮眼!摩托罗拉moto razr 40 Ultra正式亮相
- 魅族618开门红:手机销额增速第一
- Redmi神秘新机曝光 支持5G异网|当前速读
- OPPO Reno10首销 2499元:全系潜望长焦 热消息
- 日本强推核污染水排海遭多方反对 业内人士:政府在做危险的事情
- 【全球快播报】盐城盐都区盐龙街道召开典型案例警示教育大会
- 《最终幻想16》莫古利族多边形太多 优化性能模式是个挑战-每日消息
- 全球关注:《三体》电视剧再播:6月5日安徽卫视将为你闪烁!
- 世界微速讯:小岛透露《死亡搁浅2》 称这部新角色将会“相当多”
- 景嘉微募资42亿:研发高性能显卡 可用于大型游戏-世界新动态
- 如何通过投资艺术品实现资产保值增值和文化积累
- 快讯:白驹过隙的意思造句_白驹过隙的意思
- 天天热讯:GPT的数学能力,终于有救了?
- 观众称花千元在演唱会上看柱子 希望主办方能妥善处理!