一文读懂Mapduce框架Map:类MapReduce框架实现1.0和改进版本
文中提出一个类MapReduce框架MapUpdate,根据这个计算框架实现了Muppet系统,文中分别介绍了1.0和改进版本2.0。
1. Motivation
“fast data”(文中使用,从其例子中看,实质上与流数据基本等同)的处理需求与日俱增,如传感器数据、股票数据和社交媒体数据等,MapReduce框架不适合做实时的数据处理。
(资料图片仅供参考)
文中在列举了多个应用场景,包括Foursquare-checkin(类似于街旁的基于位置的手机签到)、监测Twitter上的热门话题、持续计算Twitter用户的影响力打分(好友的回复及转发引起分数的更新)。
在分析完应用场景后,分析了为何MR架构不适合流数据。
l Reduce是在map完成后启动。
l 有明确的开始结束,而流处理面对是持续数据。
l 故障后的重启较慢,丢失大量流数据。
2. MapUpdate框架
MapUpdate最大的特点是基于内存的处理。将数据抽象为stream,每个stream(流有其专有ID)由多个event(tuple,如一条Twitter)组成;框架中有两类处理单元,map和update。
Map:起到过滤、分类、整合输入进来的流,然后产生新的流。流中的event有其时间截,文中提及如map有多个输入,将按event的时间截顺序处理。(可能存在的问题:当多个输入中有一个到达延时后,如其之前的时间截已完成处理,这个“过时的”event是不是应该丢弃?造成处理的不精确?storm要求没有数据的丢失,在事务性topology中,为了不丢失数据,可能会降低其处理性能。这是两个系统之间对性能和精确的取舍的不同)
Update和slate: 每个update在其节点的内存中计录属于这个结点的全部key->value映射表 (因为对流数据不可能像MR中Reduce集齐整个list之后在输出),将(U是一个特定update的编号)写入内存(由于内存空间有限,解决办法在slate管理中提及),这条记录称之为slate,唯一确定一个slate。(update之间没有全局表,每个update使用自己的映射表,通过这样回避并发访问映射表的问题;MapUpdate的扩展是通过修改哈希函数,任务划分后分给不同的update任务,每个update任务只在一个结点上完成,扩展性能不好!storm中是通过将一个结点的任务在集群上的多个进程运行达到并行处理)。
数据传递:处理单元之间的流的传递全部采用mod hashing,即相同的ID流向相同的处理单元。(storm中节点之间有6种传递方式,这种方式称为fields grouping)。每个处理节点有自己的输入队列,前一个节点负责将数据发到其队列之中,它从队列中取数据。
3. Muppet 系统
Slate的管理(muppet 2.0版本):slate在内存中,也是外存中进行感存储。muppet使用cassandra作为slate的存储系统,存储在SSD上 (slate就是最终的处理结果了)。Update的处理过程:首先在Update节点内存中查找是否存在slate,没有则查找cassandra集群。(如此增加了内外存的数据交换,包括内存中slate的更新与外存中的一致性维护,只能通过增加节点数减少每个节点的处理任务来减少这种开销)。
错误处理机制:系统中有Master对所有结点的状态进行管理,当一个节点A在传送数据时发现其后面的节点B故障后,通知Master,然后Master通知其他向B发送数据的结点。而已经到达B的数据,无论成功与否,都不再重放。
2.0系统中的改进:在1.0中一个处理节点处理的流,可在两个节点上处理。但这种场景是ID1,ID2的流节点A中处理,当ID1的流特别多时,可用节点B处理ID2(作者说在实践中发现使用两个节点处理不会发生较为明显的竞争问题);专门使用一个节点将slate写到外存中。
性能数据:100millions tweets and 1.5 million checkins per day;保存超过30 millions slates;节点由数十台机器组成,延时不超过2秒。
处理某个节点负载过量的其他方法:对于那些实时性要求不高的应用,可以“放慢数据流到达的脚步”(这方面特性Storm系统中没有涉及)。
4. 我的评价
MapUpdate框架特点就是基本主存的,我认为在数据流规模不是超大时是有效的,Muppet对数据的处理相对storm来说,灵活有余,精确不足。如果使用storm处理实时性不是特别高的应用时,可以考虑Muppet中的一些折衷方式(storm中的精确处理机制是可选的,可以选择失败不重放等)。
标签:
相关推荐:
最新新闻:
- 肥东一中2021高考成绩查询 肥东一中隆重举行2021届高考励志报告会
- word2010的分节符及分页符在哪里?分节符以及分页符位置介绍
- 自定义控件GDI绘制在主程序报错System怎么解决?_热门看点
- 【并行开发】mpjdaemon批处理命令中的问题分析_世界快资讯
- 怎么安装directx 11.1?设置安装directx 11.1步骤
- 今日起 Win7/Win8.1彻底与大家说再见了|全球快资讯
- 我的文档位置在哪?我的文档被删除了怎么恢复?
- 风力发电机原理是什么?风力发电机原理详解
- 实时:Unity显示印度语异常 如何纠正错误的印度文?
- Trojan.Win32怎么彻底删除?Trojan.Win32清除方法步骤
- ADSL是什么?使用ADSL宽带上网的方法及说明
- QQExternal.exe是什么进程?QQExternal.exe进程删除步骤
- windows防火墙打不开怎么办?windows防火墙打不开是怎么回事?
- 谷歌搜索打不开如何处理?三种谷歌搜索打不开的解决方法
- 笔记本液晶屏维修方法是什么?液晶屏的软排线撕坏了怎么办?
- 怎么激活office2015?永久激活Office2015的方法
- 笔记本键盘出现错乱怎么办?电脑键盘错乱完美解决-全球快讯
- kingsoft是什么文件夹?kingsoft删除影响wps使用吗?
- 磁碟机病毒是什么?电脑磁碟机病毒要如何查杀?
- dnf按键连发怎么设置?红眼x连发如何设置几秒合适?
- Protel99SE怎么使用?Protel99SE的基本教程详细步骤
- 缓存文件是什么 缓存文件删了有什么影响?
- qq垃圾文件怎样请理?qqprotect.exe进程怎样结束?
- 揭秘720°三维全景3D实景地图制作技术 浅谈三维全景3D实景地图核心技术:世界快资讯
- 如何设置Windows7Computer?Windows7Computers配置指南:今日关注
- NppTools.dll是什么文件?NppTools.dll文件丢失了怎么办?
- 一文读懂Mapduce框架Map:类MapReduce框架实现1.0和改进版本
- 如何解决Windows Installer错误?InstMsiW.exe安装及常见问题解答
- 回顾老罗的经典语录:彪悍的人生不需要解释!
- cscript.exe是什么?cscript.exe自动启动解决方法
- unity中的反射:用程序集元数据:当前播报
- 世界观察:高中数学第五章线性规划方法 单纯形表法的计算步骤
- 《F1车队经理2022》销量超60万 但仍低于预期
- 《战神5》交互设计师加盟《神奇女侠》游戏团队
- 北回归线能扛起旅游复苏的大旗吗?
- 《英雄连3》最终技术测试本周开启 全员皆可参与:新动态
- 韩国游客称在日本遭芥末袭击 怀疑厨师故意为之
- 代购“印度神药”,骗子比药还多 每日聚焦
- 年货节白菜价秒杀: 2TB固态硬盘仅需599元
- 环球速讯:苹果或于6月前发布AR/VR头戴产品 号称取代iPhone
- AMD锐龙7000智酷版上架:6核仅需1549元_天天新动态
- 【速看料】恐怖压抑!《中国奇谭》"鹅鹅鹅"导演早期作品曝光
- 环球关注:摩根大通:做空太疯狂,我们将步入科技股主导的逼空
- 劳斯莱斯销量爆棚,创119年历史最高销售记录_焦点报道
- “妖镍”之后又有新冲击?“镍王”青山据称增产
- MOD作者将《最后的生还者》真人艾莉加到游戏中
- 京东年货价限时秒:大牌4K显示器仅需1399元
- 【环球播资讯】雷军接连卸任两大公司董事长!
- 必须升级了!Windows 7操作系统彻底退出历史舞台:每日热闻
- 3.5元平价品牌“钟薛不高”要来了:预计3月下旬上线
- 暴雪将推出“电子骨灰盒” 《魔兽世界》国服即将关停 环球热消息
- 突发 讴歌正式退出中国市场
- 钛金属加持依然直角边框 iPhone 15 Ultra渲染图曝光 世界独家
- 标致推出未来EV概念车Inception-环球微资讯
- AMD锐龙7000新U型号看不懂:编号更高 但是频率更低 天天消息
- 分析师:PS5不缺货是《最终幻想16》成功的关键-全球速讯
- 天天日报丨千亿景林高云程“内部信”曝光:股市将迎“双击之年”,未来有三大机会和六类“生意群”
- 世界热文:趁着股价强势反弹,一波港美股公司启动股权融资!
- 当前关注:百年历史中最大亏损!瑞士央行去年亏了1430亿美元
- 三星Galaxy Z Flip4:用立式自由拍摄秀出聚会中不一样的精彩
- PlayStation推广自家截图功能:别用门锁拍照了!
- 国产PC掌机OnexPlayer2超多使用场景:比NS还丰富!-当前热点
- 我们变老了!2023年很多大作将迎来自己的10岁生日:世界观察
- 摩根士丹利“大空头”:美股低估了衰退风险,可能再跌22%|全球简讯
- 进展迅速!曝暴雪国服代理谈判进入"二选一"阶段 当前快讯
- 消息!元宇宙里的资本家,已经开始靠剥削小孩赚钱了
- Xbox官网发布2023年登陆XGP的游戏 超50款-世界微资讯
- 如果日本央行结束负利率 日元未来怎么走?-快讯
- 优酷过冬,禁止“白嫖”:环球消息
- 豆瓣评分高达9.5!《中国奇谭》"林林"专属壁纸公布-当前滚动
- 世界新消息丨人民币兑美元升破6.77关口!2023年初迎来强势开局
- 英伟达开发新驱动程序 加入更多AI优化提高性能_快播报
- 凌晨朋友圈「开撕」:投资人 VS 罗永浩 全球即时看
- 【全球时快讯】不用等了!一加 11 没有 Pro 版
- 哈曼ReadyVision融合增强现实抬头显示技术,为用户带来高阶驾驶体验 环球观热点