火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本
(资料图片)
在数据分析场景中,企业使用的数据通常具备来源多样化的特点,如支付交易记录、用户行为等,且数据格式各异,有的为行式存储结构,有的为列式存储结构。这就要求企业数仓具备一定的数据转换能力。
传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,导致维护成本较高。但随着云计算时代的到来,云数据仓库具备更强扩展性和计算能力,也要求改变传统的ELT流程。
火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,同时还具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。凭借其强大的计算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,让用户免于维护多套异构系统,产品易用性实现飞跃。
通过ByteHouse的ELT能力,用户只需将数据导入,用自定义SQL语句在ByteHouse内部进行数据转换,无需依赖独立的ETL系统及资源。具体来说,ByteHouse主要通过以下三个能力实现ELT能力:
首先,长任务管理。ByteHouse的查询时间为秒级,一旦查询中出故障,系统会直接返回错误并重试。在ETL场景下,如果一个任务已经执行50分钟才发生故障,重试意味着浪费了前50分钟的资源,影响任务推进。在ByteHouse中,SQL查询会被转化为一系列的算子,研发团队则通过提升算子的容错能力,来应对长时间查询下的系统故障问题,即当某个算子无法获得足够的内存时,系统允许该算子将一部分数据缓存在磁盘上,保证在资源紧张的情况下仍能够完成工作。
其次,异步提交能力。面对大量长耗时的ETL任务时,传统的同步执行方式需要客户端等待服务端返回,容易出现超时问题,影响后续任务执行,而ByteHouse提供的异步提交能力,通过客户端的间歇性轮训来获得用户任务的最终状态,由此保障任务在规定时间内完成。
最后,查询队列。当面临大量离线加工请求时,系统会出现超载。ByteHouse为此提供了查询队列能力,允许用户从队列大小、总CPU占用率、总内存占用率三个维度定义一个队列。
具体来说,当用户向某队列提交查询时,ByteHouse可以通过组件监听各个队列中的查询指标,如果队列未达到上限,则会将查询入队,否则拒绝。除此之外,ByteHouse还会检查队列的资源利用率,当空闲资源高过某阈值时,自动将等待中的查询出队。利用查询队列,用户在编排ETL任务时无需担心底层资源过载,让开发更加便捷。
长任务管理、异步提交和查询队列是火山引擎ByteHouse ELT的核心能力。未来,ByteHouse也会进一步迭代,支持转换函数、长任务容错、优先级队列等更丰富ELT功能,为用户提供更极致、更便捷的使用体验。(作者:何雅逸)
标签:
相关推荐:
最新新闻:
- 第八届移动应用创新大赛完美收官 参赛队伍和作品数量再创新高
- 火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本
- win10怎么还原系统设置(win10怎么还原系统)
- 谷歌的PixelFold可能不会像我们希望的那样耐用
- 中远海发:下半年干箱价格企稳 特箱市场蕴藏机遇
- 铁路建造游戏《异星铁路》宣布将于10月13日发售 支持中文
- V社新神秘硬件或即将问世 在韩获无线电认证
- 广州地铁:取消发行“23广州地铁MTN007”
- 太平洋保险意外险赔付金额是多少?赔付流程是什么?
- 曝小米 14 Pro 将采用钛合金中框 新材料、新工艺多多
- E3展会再遭重创:运营商宣布退出 明年仍未敲定
- 路人日本偶遇彭于晏 与素人拍照状态好
- 漫评美国就芬太尼问题甩锅中国:“内病外治”
- 今年前8月我国手机出口5135亿元!同比下降7.5%
- 小折中的人像神器,OPPO Find N3 Flip正式开售
- 看得见的身边新变化 | “唤醒”空地 缓解停车难
- 《重生边缘》全球同步上线,英特尔锐炫显卡+XeSS助力玩家开启酣战之旅
- 一汽奥迪员工回应内部购车可以五折:属实
- 6799元起!OPPO Find N3 Flip小折叠正式开售
- 糖价连创新高对行业有何影响?未来走势如何?
- 国产MINI纯电车明年量产出口 由宝马长城合资光束汽车生产
- 京东联合多方推动4K投影行业高质量发展,披露未来三年发展目标
- 中国电信"手机直连卫星"服务上线:200元包50分钟
- 四川多措并举大力支持企业北交所上市、新三板挂牌
- 斯宾塞重申:《老滚6》是否独占将根据具体情况决定
- 八十年代春晚经典歌曲有哪些(八十年代春晚经典歌)
- 南阳高新区精彩亮相第24届中国国际光电博览会
- WhatsApp将带来您所喜爱的新闻功能
- 万智牌发布最新系列:艾卓仙踪
- 销量暴涨,长安汽车真的“扬眉吐气”了吗?
- 分析师称 iPhone 15 机型比例为 3:1 Pro 系列出货量预计占 75%
- Dota2宣布十周年活动延长到9月18日:G胖也没打完
- 主持人Geoff宣布:下届夏日游戏节将于明年六月举办
- 曼巴登场:《NBA 2K24》现已在全球正式发售
- 打好“组合拳” 优化“招投标”
- 《网络奇兵:重制版》即将登陆主机 获ESRB评级
- 这场盛大的“种草” 茅台不懂收割
- 内蒙古鄂尔多斯高压气体喷出事故已致10死3伤
- 你的名字会不会有第二部 你的名字会出第二部
- 水滴公司连续六个季度实现盈利
- 华为MateX5、Mate60Pro+开启预定登热搜
- 半导体公司Arm:未来60%的利润,明年有望增长20%
- 华为穿戴与支付宝推出合作 提升智能设备安全支付
- iPhone 15 比例调整:超40%是高端顶配
- 9月8日讯,今日上午各制糖企业、流通商报价如下
- 曝GTA6定价150刀 甲亢哥被要求置评后保安出手制止
- 严打赴境外参与赌诈等违法犯罪!十起典型案例公布
- 玩家太想用PS玩《星空》!不惜自制星空主题PS5主机
- 1207名缅北涉我国电诈犯罪嫌疑人移交我方
- 临夏首届房博会系列报道之三:质量为本 追求卓越
- 苹果两天蒸发1900亿美元:玩命生产iPhone15 涨价千元
- 《暗黑破坏神4》每年出资料片 玩家反感:这是在抢钱
- 逆水寒手游成华为Mate60指定“测试游戏”,遥遥领先不是说说而已
- 北京市顺义区2023-09-08 11:05发布暴雨蓝色预警
- 奥尼电子:9月7日融资买入65.12万元,融资融券余额4635.94万元
- 烟灰止血有用吗(烟灰止血)
- 不断创新,垠艺生物推动心脑血管医疗器械领域的发展
- 《星空》玩家意外发现空间站部件
- iQOO Z8系列手机今日开售 售价1599起 120W超快闪充加5G
- 苹果已经成立AI团队 意图开发出Siri新功能
- 人工智能赚钱了 OpenAI开发者大会将于11月6日举办
- 网红彩妆品牌浮气将倒闭,自曝负债近千万
- 天娱数科:9月7日融资买入2226.84万元,融资融券余额5.07亿元
- 岛内九成上班族不满薪资待遇 创近五年新高
- 人教版初一数学教学计划表(人教版初一数学教学计划)
- 吉尼斯世界纪录!6岁小女孩获最年轻游戏开发者奖项
- 《敢死队4》预售开启:9月15日史泰龙回归 硬汉集结
- 突然上架!华为Mate X5今日开启预订 10秒即售罄
- 《UFC 5》官方展示预告片 10月26日正式发售
- 《生化危机4:重制版》数据显示:阿什莉被里昂攻击2200万次
- 摆脱文书模板依赖,政治干部岗位练兵比武气象新
- 横州市:以科技创新引领茉莉花产业融合发展
- 大家车帮买团购上线,AION Y P综合优惠2.2万元
- 李哲会见国家电投东方绿色能源公司考察团一行
- 重庆近20家企业携“中国好礼”赴泰寻商机