首页 >资讯 > > 正文

头条焦点:解剖屎山,寻觅黄金之第二弹

程序员客栈 2023-05-15 11:45:47

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。

在最开始,我的第一版实现是这样的:


(资料图)

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

上一篇:智能马桶一体机均价下探至“2字头” 下一篇:最后一页
x
推荐阅读

头条焦点:解剖屎山,寻觅黄金之第二弹

2023-05-15

智能马桶一体机均价下探至“2字头”

2023-05-15

环球快消息!盘中速览 | 三大指数震荡走弱,啤酒股、体育用品股、锂电池股齐涨,天齐锂业升逾7%

2023-05-15

AI加持下Bing市场份额不增反降 4月份降至7.14%_每日快看

2023-05-15

全面电动化 MINI将于2025年推最终版燃油车_天天快消息

2023-05-15

关注:中国驻缅甸使馆解救多名被困妙瓦底中国公民

2023-05-15

热资讯!苹果x手机黑屏打不开怎么回事_苹果x手机黑屏打不开

2023-05-15

你手机装了几款APP?人均安装31个APP 年龄越小装的越多

2023-05-15

哈登被喷上热搜:生死战1胜9负拉胯至极 美记暗示将重返休斯顿 全球新要闻

2023-05-15

天天百事通!有痰咳不出来是什么原因

2023-05-15

全球视点!飞机突然坠海!多人死亡

2023-05-15

焦点热议:如何通过中级会计师考试,开启职业生涯新篇章?

2023-05-14

世界新消息丨中文在线:公司已在有声书生产中应用AI主播 AI主播录制的有声书时长已超18万小时

2023-05-14

环球视讯!北京市朝阳区发布高温蓝色预警

2023-05-14

奇异果有哪些种类(奇异果是哪种水果)

2023-05-14

【全球报资讯】三十三朵玫瑰花语是代表什么_33朵玫瑰代表什么寓意

2023-05-14

节能减碳 我国海上油田群加速绿色化智能化开发|全球聚看点

2023-05-14

环球快看点丨国际识局:美国多地进入紧急状态 移民或成党争牺牲品

2023-05-14

当前速递!高盛、富达最新发声,全球机构热议国企投资价值

2023-05-14

当前报道:《战火中的青春》收关 王羽铮化身民国清华物理学系热血少年

2023-05-14

库明加:我们之间的化学反应直到常规赛结束才真正产生

2023-05-14

全球简讯:学做菜的网站排名_学做菜的网站

2023-05-14

建议和预测!追梦:不能让约基奇又得分又助攻 湖人6场晋级

2023-05-14

环球热点评!申花花开不败,门前有位“高人”

2023-05-14

身患疾病饮酒身亡同饮者担次要责任

2023-05-14

以色列媒体:以色列与杰哈德已达成停火协议 每日播报

2023-05-14

违法行为通知书与决定书的区别_违法行为通知书

2023-05-14

全球简讯:岩棉板厚度规格尺寸有哪几种 岩棉板厚度规格

2023-05-14

灌注桩施工工艺 灌注桩|世界今日报

2023-05-13

说唱音乐后面交个括号REMIX _prod FEAT 等等这些到底什么意思什么含义 天天关注

2023-05-13

5·12国际护士节 天津医科大学肿瘤医院开展系列公益活动 满足百姓多元化的需求 天天微动态

2023-05-13

骑马与砍杀序列号怎么弄_骑马与砍杀序列号|环球速讯

2023-05-13

葛荣峰_关于葛荣峰的简介

2023-05-13

小伙入职第二天,报警把公司端了…… 今日视点

2023-05-13

天天即时:河南柘城推进农产品精深加工—— 二寸辣椒,拉长产业链条(经济新方位·县域经济观察)

2023-05-13

世界关注:备查账簿模板_备查账簿是什么

2023-05-13

中信证券:碳酸锂价格企稳 电池回收企业将迎经营拐点-焦点关注

2023-05-13

环球快播:重庆破获特大虚开增值税专用发票案 涉案金额超20亿元

2023-05-13

人类泛基因组首个草图发布

2023-05-13

泓德基金管理有限公司关于旗下泓德裕泰债券型证券投资基金所持债券估值方法调整的提示性公告-天天热闻

2023-05-13

新发现!宇宙中已知最大爆炸3年未停歇

2023-05-13

原腾讯QQ空间负责人,T13专家,黄希彤被爆近期被裁员,裁员原因令人唏嘘。。|全球简讯

2023-05-13

玩“转”湖南

2023-05-13

精彩看点:热带气旋“摩卡”已加强为特强气旋风暴

2023-05-13

半决赛晋级概率更新:76人35%,湖人72%,维金斯首发,戴维斯待定

2023-05-13

GG下路Stixxay致歉:我打的太烂了,GG

2023-05-12

士别三日当刮目相看 士别三日就该刮目相看的意思

2023-05-12

全球速读:4月南昌居民消费品价格下降0.9%

2023-05-12

水胶比和水灰比区别在哪 水胶比和水灰比区别

2023-05-12

环球热点评!北京楼市:近期二手房交易低迷,房价会走低吗?

2023-05-12

创业板农村电商股介绍(创业板5大农村电商股) 每日速讯

2023-05-12

欧盟制定《人工智能法》,禁止公共场面面部识别|天天热推荐

2023-05-12

孙星 声乐(孙悦 中华全国总工会文工团声乐演员)

2023-05-12

锦泰期货:西南工业硅产业专项调研纪要-全球快讯

2023-05-12

秃宝盖加石念什么_秃宝盖-报道

2023-05-12

公对公跨行转账为何迟迟不到账

2023-05-12

世界速讯:别惹农夫烧烤农夫怎么解锁 隐藏皮肤烧烤农夫解锁攻略[多图]

2023-05-12

杰凡尼是什么档次_杰凡尼 世界今热点

2023-05-12

世界热资讯!重庆2023年卫生资格考试成绩查询时间

2023-05-12

又崩了!苹果Apple ID出现大面积故障:登录、支付都不行 焦点信息

2023-05-11

每日关注!AI风口之后 微软要全球首发核聚变发电:2028年用上

2023-05-11

(病娇)女帝姐姐的爱换来的是…假太监的复仇?!_今日快讯

2023-05-11

全球快资讯丨快手如何不显示IP地址?运营方式是什么?

2023-05-11

热头条丨佳力图: 公司经营业绩情况请详见公司定期报告

2023-05-11

全球报道:e福州拥军福卡怎么用 e福州军福卡线上申请方法介绍

2023-05-11

环球快看:Vlog|探访雄安站

2023-05-11

清廉警营之歌唱响西洞庭

2023-05-11

以数字化驱动餐饮绿色转型,锅圈食汇探索可持续发展新路径_每日热门

2023-05-11

环球快报:票房拉满!湖人连续两轮3个主场,浓眉利好,有望G6晋级西决

2023-05-11

领益智造子公司领鹏与汉森机器人签署谅解备忘录展开人形机器人业务合作 每日热闻

2023-05-11

每日观察!太平百万驾年华两全保险怎么样?值得购买吗?

2023-05-11

片仔癀:副总经理刘丛盛接受纪律审查和监察调查 每日关注

2023-05-11

热消息:上海32位教师入选!教育部公布新时代中小学学科领军教师示范性培训(2023-2024年)培养对象名单

2023-05-11

世界今亮点!创文在路上丨“花季天使”:撑起青少年防性侵的一片晴空

2023-05-11

云南锗业:公司子公司武汉云晶飞光纤材料有限公司是目前国内最大的光纤级锗材料生产商和供应商,昆明云锗高新技术有限公司是国内知名的光电锗材料供应商 环球动态

2023-05-11

转危为安 众人携手救助病倒老年妇女 观察

2023-05-11

咳嗽、胸闷一月余做CT检查显示肺部阴影-全球快讯

2023-05-11

天天报道:尿从肚脐渗出?专家巧用单孔腹腔镜解决脐尿管未闭问题

2023-05-11

云海景观 画卷天成

2023-05-11

全职太太离婚发现丈夫资产过亿 偷给继女18套商铺

2023-05-11

环球观察:哈尔滨工业大学领导班子调整

2023-05-11

当前时讯:藕怎么做好吃六种做法

2023-05-11

快讯:潍坊奎文区邮编号(潍坊奎文区邮编)

2023-05-11

神仙大趋势安装方法 神仙大趋势

2023-05-11

全球资讯:房产中介销售新手入门培训总结_房产中介销售新手入门

2023-05-11

2023台港澳媒体山东行|走进傅斯年陈列馆 感悟著名历史学家的一生

2023-05-11

指定的文件名无效或太长无法复制_指定的文件名无效或太长无法删除

2023-05-10

热点在线丨信科移动:5G RedCap主要针对5G在物联网应用领域的拓展

2023-05-10

皇马1比1曼城 不看后悔 世界微动态

2023-05-10

裕太微: 公司未参加此次会议|世界观点

2023-05-10

紫光国微:马道杰先生申请辞去公司总裁职务

2023-05-10

贾玲“整容式”近照曝光:暴瘦40斤,颜值逆天,我却笑不出来......

2023-05-10

上海新阳(300236.SZ):不会放弃任何寻求国家集成电路产业基金二期的投资参与机会

2023-05-10

全球微资讯!综合所得年度自行申报是什么意思_综合所得年度自行申报

2023-05-10

招商蛇口前4月销售额1101.92亿元_天天快资讯

2023-05-10

光伏组件的“妖娆”之处 当前速读

2023-05-10

棉价下行下业绩承压,袜制品业务高增

2023-05-10

观点:晟楠科技北交所发行结果:网上有效申购倍数333.73倍 冻结资金533亿元

2023-05-10

天舟六号进入“发射倒计时” 发射现场有哪些黑科技?|天天播资讯

2023-05-10

投票通道已开启|40件摄影作品定格速度与激情,快来pick你的心动瞬间!

2023-05-10