火山引擎DataLeap推出全链路智能监控报警平台_天天热闻
随着大数据开发场景下需要运维管理的任务越来越多,在日常运维中开发者经常会面临以下几个问题:
1.任务多,依赖关系复杂:很难查找到重要任务的所有上游任务并进行监控。如果监控所有任务,又会产生很多无用报警,导致有用报警被忽视;
(资料图片仅供参考)
2.配置运维成本高:每个任务的运行情况不一样,承诺完成时间不一样,如果单独对每个任务设置监控,分析及人工对齐任务服务级别协议(SLA)成本非常高;
3.报警形式多样性:对于小时级的任务,不同时段的报警及时性要求不同,普通监控无法满足不同时段多样的报警需求。
为了帮助企业开发者更好地解决这一问题,及时平稳完成日常运维、高效保障数据质量,字节跳动数据平台开发套件数据开发团队自研了基于依赖关系的全链路智能监控报警——基线监控,它能根据任务运行情况,智能决策是否报警、何时报警、如何报警以及向谁报警,贯穿整条任务产出链路,避免出现环节缺失,保障链路完整性。目前基线监控已在字节跳动内部得到广泛使用,覆盖抖音、电商、广告等100+个项目,服务级别协议(SLA)任务的基线监控覆盖率超过80%。
当前,该能力已通过火山引擎DataLeap向企业开放。企业可以通过火山引擎DataLeap的基线监控功能,有效降低监控配置成本、避免无效报警及报警泛滥。
图:火山引擎DataLeap监控范围
火山引擎DataLeap默认监控的范围包括:基线保障任务及保障任务上游的所有任务。如上图所示,保障任务D,E及它们所有的上游节点都会纳入基线监控范围,而任务C,F不受基线监控。值得一提的是,火山引擎DataLeap的基线监控允许用户配置基线监控只覆盖“指定项目”下的任务,此时基线监控的范围就只包含了保障任务及这些项目下的上游任务。
图:火山引擎DataLeap基线监控整体架构
火山引擎DataLeap基线监控由基线管理模块、基线实例生成、基线埋点检测等构成,各模块功能详情如下:
基线管理模块:负责基线创建、更新、删除等操作,管理基线元信息,包括保障任务,承诺时间,余量及报警配置等;
基线实例生成:火山引擎DataLeap每天定时触发生成基线实例,生成实例的同时根据保障任务,由下而上逐层遍历 (BFS)所有上游任务并生成基线监控埋点。生成基线监控埋点的过程中,火山引擎DataLeap会计算每个任务节点的预测运行时长,承诺时间,预警时间,预警最晚开始时间,承诺最晚开始时间。此外,火山引擎DataLeap会给基线监控任务添加基线出错/变慢报警规则,当任务执行触发规则后,通过基础报警服务发送基线报警事件;
监控埋点校验:系统维护一个延迟队列,火山引擎DataLeap会根据校验时间点(预警最晚开始时间,承诺最晚开始时间以及破线加剧时间校验点),同时火山引擎DataLeap会定时触发监控埋点校验任务实例运行状态,如果在时间点实例未运行成功,产生基线预警/破线报警事件,发送报警。
未来,火山引擎DataLeap的研发人员将继续针对基线监控进行优化,如基线关键路径分析、基线实例生成效率优化等,不断提高基线监控算法性能,完善基线链路分析能力,提升用户体验,向企业级市场提供更强大的全链路监控运营服务。(作者:崔岗)
标签:
相关推荐:
- []火山引擎DataLeap推出全链路智能监控报警平台_天天热闻
- []AMD 锐龙 7 7800X3D 冲到热销第一,基准测试一塌糊涂,游戏测试稳到起飞_焦点快看
- []焦点消息!新华三出席国际工业互联网生态大会,展现从工业感知到工业经济的价值传递
- []法国Explorers与UWA联盟合作,超高清标准架起中法交流桥梁|世界今日报
- []科大讯飞刘聪:5月6日将发布“1+N认知智能大模型”-今日热讯
- []时讯:联想推出矿泉水瓶大小13代酷睿mini主机 仅1L容积
- []抖音是如何使用火山引擎DataTester快速试错的?
- []全球首款裸眼3D平板!nubia Pad 3D 4月12日国内亮相_世界快资讯
最新新闻:
- AMD 锐龙 7 7800X3D 冲到热销第一,基准测试一塌糊涂,游戏测试稳到起飞_焦点快看
- 火山引擎DataLeap推出全链路智能监控报警平台_天天热闻
- 空岛有了之后 《塞尔达》粉丝想要探索水下世界 全球快资讯
- 我的学校好友小川?不 那是我的义父川哥!
- DC动画剧集《我与超人的冒险》先导预告 夏季播出_世界微动态
- 环球热门:E3没了但6月仍然热闹 今年PC游戏秀将于6月11日回归
- 电脑开机硬盘自检过不去怎么办?关闭windows开机硬盘自检方法
- 怎么查看工作组计算机?访问共享电脑需要密码怎么取消?
- win10安装失败怎么解决?win10系统安装程序无法正常启动的解决教程
- acer无线网卡驱动怎么安装?宏基笔记本插了网线后上不了网怎么处理?
- win7电脑c盘空间不足怎么办?c盘满了怎么清理垃圾而不误删?
- 视频驱动在哪里?怎样更新视频显示驱动?
- 密钥更新周期是什么意思?路由器密钥更新周期怎么设置?
- 简单百宝箱怎么用?简单百宝箱使用方法
- favoritevideo是什么文件?finder什么文件能删吗?
- 电脑win7系统显示不是正版怎么办?win7系统如何激活的小白教程?
- msocache是什么?Win7系统怎么清理msocache文件夹?
- 中国国际有机食品博览会 华安企业斩获二金
- win10微软拼音怎么卸载?如何关闭win10系统默认的微软拼音输入法?
- 360重装大师好不好用?360升级助手升级win10系统教程
- 电脑关机的时候死机是怎么回事?笔记本进入安全模式后不动了怎么办?
- 电脑一开机就卡住不动该怎么处理?电脑不能进入安全模式是怎么回事?
- win10笔记本找不到无线网络怎么解决?笔记本电脑连不上wifi是什么原因?
- 《死侍》女主演:新作或“复活” 正在讨论参演条款-当前独家
- 当前快讯:真人马里奥电影导演:如果宫本茂参与制作 结果可能大不同
- 科大讯飞刘聪:5月6日将发布“1+N认知智能大模型”-今日热讯
- 法国Explorers与UWA联盟合作,超高清标准架起中法交流桥梁|世界今日报
- 焦点消息!新华三出席国际工业互联网生态大会,展现从工业感知到工业经济的价值传递
- 抖音是如何使用火山引擎DataTester快速试错的?
- 时讯:联想推出矿泉水瓶大小13代酷睿mini主机 仅1L容积
- 卡普空宣布《生化4RE》销量破400万!佣兵模式今日上线:全球聚焦
- 全球速递!知名网红怒喷游戏作弊行为:挂哥都该进监狱!
- 【时快讯】上汽集团3月整车销售35.2万辆环比增长16.7% 海外市场增超92%
- 世界观察:杭州阿里巴巴由122亿减资至1亿:内部人士辟谣消息不实
- 曝特斯拉员工私下分享车主隐私画面:尴尬瞬间被传阅:全球快讯
- 全球首款裸眼3D平板!nubia Pad 3D 4月12日国内亮相_世界快资讯
- 快报:后壳设计绝了!华硕ROG Phone 7游戏手机渲染图曝光
- 配色好评!摩托罗拉Edge 40高清渲染图再曝光:简讯
- 卡牌游戏《浮生游歌》Steam页面上线 发售日期待定
- iphone13电池可以用多久?iphone13电池如何保养?
- 联想笔记本自带一键恢复按钮在哪里?自带一键恢复按钮怎么使用?
- bugreport.dll是什么?丢失bugreport.dll怎么办?
- 压缩文件格式是什么?常见压缩文件格式有哪些?
- 如何激活XP系统?xp sp3 序列号汇总分享
- 电脑闪屏是什么原因造成的?电脑闪屏的原因分析及解决方法
- 国内编程语言有哪些比较常用的?国内编程语言前十排行榜
- 笔记本没有摄像头怎么回事?笔记本摄像头驱动的安装方法
- 电脑cpu主频是不是越高越好?主频和睿频有什么区别?
- 中远海控再创历史最佳业绩 2022年度净利润同比增长26.4%至1313.38亿元:微资讯
- 数据包究竟是什么?数据包的含义位置及运用方法
- chkdsk工具是什么?chkdsk命令修复磁盘方法?
- kingsoft是什么文件夹?删除kingsoft影响wps使用吗?
- 外媒统计史上收入最高十大运动员:乔丹33亿美元居首 C罗第五 当前消息
- 2023百想入围名单公布 宋慧乔提名艺术大赏视后 通讯
- 全球最新:华为光猫路由一体机_华为光猫
- iOS 17两大目标:性能+稳定
- 聚焦业务数据安全全流程,新华三夯实数字金融安全底座 全球播报
- iPhone 15想要高刷?标准版再等2年!
- 今日热门!6月停止支持!微软催Win10 21H2用户升级Win11
- 外观偷跑!小米13 Ultra手机壳上架淘宝第三方店铺-看点
- 《TLOUP1》多平台画面对比 SteamDeck720p难稳30帧|环球速看
- 天天消息!赛博风动作RPG新作《Neo Berlin 2087》公开 虚幻5打造 2024年发售
- 世界观速讯丨《Dark and Darker》开发者:游戏或将不再免费 将尽快分享下次测试消息
- 《SD 新 KAMEN RIDER 乱舞》公开DLC及特典情报!
- 用益-信托产品快报(2023.04.07):本期业绩比较基准为5%-7.6%
- 为什么JDK要自带JRE?JRE和JDK的区别是什么?
- 每日精选:如何读懂路由表本机地址?routeprint命令可以查看路由表
- 焦点快播:HttpClientPost怎么使用?HttpClientPost请求使用步骤详解
- 【时快讯】【Seata解析】TC处理全局事务和分支事务原理详解
- 网上订票抢票攻略 360极速抢票浏览器使用教程_世界快讯
- Chrome缓存文件路径在哪?Chrome浏览器缓存文件路径查看方法
- Insert Into select与Select Into哪个更快?数据库中SELECTINTO和SELECTO的区别 环球新动态
- 全球热文:hadoop3.2镜像挂载文件(附下载)
- 天天消息!汇编中DOSBox怎么使用?新建文件夹MyASM_Code(PSP)的使用方法
- AllocateHWnd函数是如何传入消息的?AllocateHWnd函数的类型:视焦点讯