【天天新要闻】数据丢失不用怕,火山引擎DataLeap 提供排查解决方案
当一家公司的日均处理的数据流量在PB级别时,巨大的任务量和数据量会对消息队列(MQ)dump的稳定性和准确性带来极大的挑战。
针对这一问题,火山引擎数智平台推出的大数据研发治理套件DataLeap,可以为企业提供完整解决方案,帮助解决MQ dump在极端场景中遇到的数据丢失问题。
(资料图片)
例如,当HDFS(一种分布式文件系统)集群某个元数据节点由于硬件故障而宕机。那么在该元数据节点终止半小时后,运维工程师虽然可以通过手动运维操作将 HDFS 切到主 backup 节点,使得HDFS 恢复服务。但故障恢复后, MQ dump 在故障期间可能有数据丢失,产出的数据与 MQ 中的数据不一致的情况。
此时,技术人员可以在收到数据不一致的反馈后,立即借助火山引擎DataLeap进行故障排查。目前,火山引擎DataLeap基于开源Flink,已经实现了流批一体的数据集成服务。通过Flink Checkpoint的功能,Flink 在数据流中注入 barriers 将数据拆分为一段一段的数据,在不终止数据流处理的前提下,让每个节点可以独立创建 Checkpoint 保存自己的快照。
图:Flink Checkpoint 基于 Chandy-Lamport 算法保障数据的一致性
据介绍,每个 barrier 都有一个快照 ID ,在该快照 ID 之前的数据都会进入这个快照,而之后的数据会进入下一个快照。在排查过程中,火山引擎DataLeap基于对Flink 日志查看以及HDFS 元数据查看,可以率先定位症结所在:删除操作的重复执行造成数据丢失。进一步解释就是,在故障期间,写入数据前的删除操作在 HDFS NameNode 上重复执行,将写入的数据删除造成最终数据的丢失。
图:使用文件State 前后处理流程对比
溯源后,用户可以通过火山引擎DataLeap选择使用文件State(当前的 Checkpoint id 和 task id)解决该问题。据悉,使用文件 State 后,企业在 Notify 阶段与 HDFS 交互的 metrics(打点监控系统)的平均处理时间减少了一半。
目前,企业可以通过火山引擎DataLeap体验到上述Flink Checkpoint实践与优化方案,提升数据价值交付中的效率和质量。(作者:韩江)
标签:
相关推荐:
- []【天天新要闻】数据丢失不用怕,火山引擎DataLeap 提供排查解决方案
- []热点聚焦:三星玄龙骑士电竞显示器:春季赛正当头,助力玩家“开大”不断
- []对话设计师 | 青山周平:“自由家”的灵感三部曲 新视野
- []环球热推荐:汉印照片打印机Z1评测:即拍即印即记录,定格美好瞬间
- []后台应用保活数达45个!realme GT Neo5 SE提供16GB+1TB“满级”内存
- []天天消息!旅居用户体验升级,创维商用"1+2+N”强势亮相上海国际酒店及商业空间博览会
- []影石Insta360发布AI手机稳定器Flow:让手机秒变AI摄影师:全球百事通
- []数字孪生软件企业「中测智绘」完成A轮融资,阿里巴巴领投,合肥创新投追投
最新新闻:
- 【天天新要闻】数据丢失不用怕,火山引擎DataLeap 提供排查解决方案
- 融资丨「风图智能」获2880万美元A轮融资,LG Technology Ventures领投
- 国产WIN掌机玩PC版《最后生还者 第一部》:30帧完美运行
- 【聚看点】E3游戏展或将取消:腾讯、索尼等多家大厂官宣退出
- 天天百事通!北京疾控:今年第12周报告法定传染病43419例,流感居首
- 对话设计师 | 青山周平:“自由家”的灵感三部曲 新视野
- 后台应用保活数达45个!realme GT Neo5 SE提供16GB+1TB“满级”内存
- 热点聚焦:三星玄龙骑士电竞显示器:春季赛正当头,助力玩家“开大”不断
- 环球热推荐:汉印照片打印机Z1评测:即拍即印即记录,定格美好瞬间
- 天天消息!旅居用户体验升级,创维商用"1+2+N”强势亮相上海国际酒店及商业空间博览会
- 超300亿倍太阳质量的黑洞现身 质量达到理论上限-视点
- 环球即时看!《最终幻想10》歌舞伎现场实拍剧照 别具艺术魅力
- 全球视讯!北向资金净流入超30亿元
- 当前焦点!《暗黑4》加载界面截图 玩家在游戏里死亡时就会看见
- NEXON竞技射击游戏《VEILED EXEPRTS 幕后高手》 最终测试现已开启!
- 视讯!已经有人拿到了!《塞尔达传说:王国之泪》限定Switch OLED开箱
- 影石Insta360发布AI手机稳定器Flow:让手机秒变AI摄影师:全球百事通
- 成为冠军的选择!森歌用重磅新品携手国家体育总局训练局打造“理想厨房”|环球报道
- 试作型MSRX-78出击 真我GT Neo5 SE邀请函鉴赏-环球热推荐
- 数字孪生软件企业「中测智绘」完成A轮融资,阿里巴巴领投,合肥创新投追投
- 当前动态:今年江西省在公共场所新增600台“救命神器”
- 《庆余年2》回归角色曝光:除肖战外基本全员回归
- 全球聚焦:HIFI耳机怎么选 多少预算够用?
- 当前热门:影像大提升!曝iPhone 15 Pro Max搭载潜望式长焦
- 赏心·悦目,揭开三星Lifestyle艺术系列电视的多面魅力-全球滚动
- 《莱莎的炼金工房3》追加DLC第二弹上线 免费更新|热闻
- 《小飞侠》全员角色海报首发 精灵不是唯一黑人主角
- 外媒:索尼与腾讯勾结要求政府打压微软 巩固地位
- 电表改造全覆盖 智能服务再升级
- 《罪恶装备:Strive》新角色“BEDMAN”上手介绍视频 焦点快报
- 卸载 App 的理由又多了一个,Safari 支持推送网页通知
- 世界即时:凝心聚力,共赢未来 MAXHUB经销商圆桌会议成功召开
- MAXHUB 持续迭代升级 赋能企业数字化转型_环球精选
- MAXHUB携手湖南合作伙伴 多地开展重点渠道交流会 环球热议
- 全球焦点!骁龙 8Gen 2 +16GB 内存,疑似华硕 ROG 游戏手机 7 跑分曝光
- 蒸汽平台东方游戏文化周定档 4月12日正式呈现
- 盗版动漫网站B9GOOD遭查处关停 日本用户占比95% 世界快消息
- 环球新动态:《我的世界:传奇》新预告 4月19日正式解锁
- 环球今热点:三元生物:公司认为2023年赤藓糖醇价格倒挂会减少,但是利润增加空间不大
- 世界看热讯:《蜘蛛侠:纵横宇宙》新剧照 迈尔斯格温携手战斗
- 天天信息:《暗黑破坏神4》开发者:将在“几周内”处理测试期间玩家反馈
- 这是我们的地盘!《暗黑破坏神:不朽》大版本“魔塔纷争”今日激燃上线!
- 天津市和平区发布三年行动计划 打造国际消费中心城市地标|全球通讯
- 全球最新:口碑票房双扑街 《蚁人3》或难以回本
- 系列第二快!《生化4RE》销售速度仅次于《生化6》
- 尼康单反相机怎么样?尼康d7000和佳能60d哪个好?
- qq文件保险柜是什么?qq密码保险箱在哪?
- sd卡的根目录是什么?SD卡根目录所在位置介绍
- dnf二级密码怎么设置?dnf二级密码输错3次多久解除?
- qq邮箱打不开有什么解决办法?QQ邮箱收不到邮件是怎么回事?
- 尼康单反相机怎么样?尼康d7000和佳能60d哪个好?
- qq文件保险柜是什么?qq密码保险箱在哪?
- sd卡的根目录是什么?SD卡根目录所在位置介绍
- dnf二级密码怎么设置?dnf二级密码输错3次多久解除?
- qq邮箱打不开有什么解决办法?QQ邮箱收不到邮件是怎么回事?
- h3c模拟器怎么安装?h3c模拟器安装教程及使用说明
- iPhone如何导入电子书到iBooks?ibooks支持epub和pdf两种格式操作方法
- 联想昭阳E42怎么把win10改成win7?win10改成win7具体的操作步骤
- 卡巴斯基授权文件使用教程 卡巴斯基授权文件激活码
- 24bit音乐是什么意思?无损音乐和普通音乐有什么区别?
- 赛酷ocr怎么识别公式?赛酷ocr安装步骤及注意事项
- Win11看不到工作组计算机应该怎么办?多台电脑怎样实现共享?
- U盘无法停止通用卷怎么解决?U盘无法停止通用卷解决方法步骤分享
- recovery是什么意思?进入recovery模式后怎么退出?
- pp助手打不开闪退?win10系统pp助手打不开闪退的解决方法
- 三星note2什么时候上市的?三星note2怎么连接电脑?
- acdsee5.0安装步骤如何?acdsee5.0使用方法是怎么样?
- udidfaker是什么?UDIDfaker使用及安装教程
- 电驴eMule如何使用?使用电驴搜索文件方法
- rpcss.dll是什么文件?rpcss.dll中毒后如何修复?
- 硬盘分区魔术师怎么用?PQ硬盘分区魔术师使用教程
- RocketDock如何使用?RocketDock使用的小教程
- 众生药业定增募不超5.99亿获深交所通过 华泰联合建功-世界观速讯
- Xbox触摸屏手柄相关新专利:保存自定义布局、连接社媒
- PS5北美2月销量突破53万台 打破PS2单月销售记录
- 数字商店关闭 3DS游戏中的宝可梦无法同步至新作-全球热推荐
- 苹果CEO蒂姆·库克中国之行 参观米哈游公司
- 世界通讯!《守望先锋2》小美女皇皮肤演示 中国玩家无语:太丑了
- FF 91量产 贾跃亭现场官宣
- 原厂颗粒8G内存跌破百元!
- iOS 16.5曝光:Siri获得录屏权限!:天天新要闻
- 今日最新!本周新增3款游戏支持DLSS 2 耕升RTX玩家享流畅游戏体验
- 散热静音表现无敌!华硕猫头鹰联名版RTX 4080
- 丹麦称“北溪-2”爆炸现场附近不明物打捞完毕
- 每日热点:我发现互联网工作的性价比还在持续走低,没看到好转的迹象