TiDB x 同盾科技,实时数据架构为风控智能决策保驾护航
同盾科技是中国领先的人工智能科技企业,专注决策智能领域,致力于帮助政企客户防范风险、提升决策效率。同盾科技坚持自主科技创新,多项算法和软件系统已达全球领先水平,并形成了“基于隐私计算的共享智能平台-智邦”和“基于人工智能的决策智能平台-智策”两大平台,聚焦于金融风险、安全风险、政府治理风险三大场景,业务覆盖全球数十个国家,为 22 大行业、118 个细分场景的上万家客户提供了领先且独具特色的决策智能解决方案。
风控业务场景对数据库的需求与挑战
(资料图片)
作为一家第三方风控公司,客户经常需要调用同盾的智能决策服务去做业务决策,如电商大促期间防范黑产薅羊毛,个人信贷杜绝多头借贷老赖行为等。因此,同盾服务调用常常呈现出非常大的 TPS 请求。同时,为了不影响客户调用服务的质量与体验,同盾对低延迟和高可用有着硬性要求。
基于这样的特征,同盾日均过亿的决策服务调用,会产生包括非结构化/结构化多种数据结构类型在内的海量数据入库。丰富的数据类型与多样的细分场景,使得同盾科技必须使用多种数据库去满足不同的业务场景需求,在同盾的数据架构中包含了 Cassandra、MySQL、HBase、Redis、Mongo 等数据库。
在同盾的数据架构中,大多数初始落库的数据还比较原始,为了提供优质的数据服务用于智能决策,技术团队构建了成熟的大数据平台,用 T+1 离线数据分析的方式去进行日常的离线数据分析作业,利用数据二次加工赋能上层的风控智能决策。
但面对复杂的数据基础架构,同盾在业务增长中也遭遇了如下挑战:
·同盾拥有在线数千个大大小小的 MySQL 工作实例,数据十分分散,有一些是核心的风控业务系统数据,有一些是后台基础架构平台的数据,还有一些是集团 IT 系统数据,同盾希望通过集中化的方式对这些数据进行分析管理;
·最开始同盾将上游 MySQL 数据同步到下游进行分析,但整个过程中数据交换工作效率非常低,整体作业分析的 SLA 无法得到保证;
·由于上下游数据同步的阻塞问题,导致了离线数据同步实时性很差,上下游数据经常出现数据不一致的情况,非常影响提供给作业的数据质量。
其实同盾科技的业务场景并不复杂,只需要同步生产环境中数千个 MySQL 实例至下游的离线系统,提供给作业开发人员通过大数据平台进行离线分析加工。项目的核心目标是在海量数据落库下,保障在线到离线数据的数据库的准实时性和一致性,并提供优质的数据服务给内部的风控系统开发人员、算法模型工程师和运营人员加工数据。
为什么选择 TiDB?
经过长时间调研,同盾科技的技术团队最后选择了新一代分布式数据库 TiDB 作为离线层的核心数据库。同盾科技数据库运维梁高升表示,主要有以下几点原因最终促成同盾选择 TiDB:
首先,TiDB 高度兼容MySQL协议,在 TiDB 的使用和运维过程中大大减轻了运维和开发人员的使用成本;
第二,TiDB 作为分布式数据库,同盾可以把它看成一个大的数据库实例,可以汇聚上游所有的MySQL实例数据;
第三,TiDB 具备存算分离的架构,可以让同盾非常灵活地控制硬件成本,而不用一味堆砌服务器;
最后,TiDB 拥有非常活跃的社区。即使在使用 TiDB 的过程中遇到一些问题也马上能在社区得到解决。
解决方案
最终,同盾科技数据库团队构建了一整套基于 TiDB 的数据流转架构,该架构共分为三层:
实时数据层
同盾内部有 3000+ MySQL实例,在实时数据库层通过 MySQL cloud 管控上游数千个 MySQL。
传输层
在传输层,从 MySQL Cloud 对接实时数据同步任务到内部 Otter ,Otter 可以实现准实时同步 MySQL 数据,然后再由 OTTER 实时同步数据到 TiDB。
上下游同步组件决定了数据在下游离线场景的整体数据质量,同盾对数千个 MySQL 实例同步数据的同时,需要保证其稳定性、低延迟及整体可控的管理成本。虽然 PingCAP 数据迁移工具 DM 支持全量/增量灵活的数据导入场景,并具有较快的导入速率,但目前单个 DM worker 只支持绑定一个数据源,这限制了管理大量 MySQL 同步任务的需求。同盾最后选择使用 OTTER 作为常态化的数据增量同步平台,但 OTTER 只支持增量数据同步,且单任务吞吐有上限,同盾通过使用其支持 spark streaming 来进一步保障同步得吞吐和准实时性。未来在 TiDB 推出一个 DM worker 支持多个数据源的特性后,同盾会再考虑进行替换。
离线数据层
离线数据层中的大数据平台主要管控 TiDB 的元数据和实际到下游的同步情况。 在 Spark 运行作业的过程中通过 TiSpark 去访问 TiDB,最后接入 Hadoop 进行分析作业。
业务收益
通过打造 TiDB 数据产品链,同盾科技实现了数千个 MySQL 数据的离线汇聚管理。TIDB 有着便捷易操作的 Dashboard 管理界面,运维无心智负担,大大提升了数据库运维团队的管理运维和使用数据的便捷性与效率。同时,TiDB 的高性能保障提供高质量的数据服务,实现了准实时同步数据。
同盾科技数据库运维梁高升介绍,同盾刚开始上线的是 TiDB 2.0 早期版本,在上下游数据同步过程中遇到了一些 TiDB 和 MySQL 不那么兼容的情况,如果在上游有大量数据更新的情况下,会出现同步阻塞的情况,导致同步的实时性、一致性出现问题。但 TiDB 版本迭代速度非常快,每个版本都会对性能及稳定性做出大量改进和优化,在升级到 5.4 版本后,同盾就已经解决了大部分的兼容问题。而且在基准测试中,TiDB 的性能也得到了质的飞跃。
未来规划
同盾科技是 TiDB 非常早期的用户,多年的使用让同盾确信 TiDB 是一款非常好的产品,未来也会继续致力于在更多的场景依靠 TiDB 生态落地赋能一些业务场景。例如,虽然同盾的大部分作业是 T+1,但内部也有很多实实在在的实时分析场景,比如实时展示的 BI 系统,通过TiFlash 实时分析查询引擎可以进一步提升分析效率,更及时地满足实时分析需求;同盾国内在线业务针对海量关系型数据库初始使用的是 MYCAT,但是 MYCAT 的运维非常困难,对开发也不是很友好,更像是上一代的分布式数据库产品。后续,类似 MYCAT 这样的场景也很有必要使用 TiDB 进行替换。
近几年,随着出海趋势愈发火热,同盾科技在出海业务势头也非常迅猛,业务涉及东南亚、北美、欧洲等多个区域,这就需要在谷歌云、AWS、阿里云等通用公有云上,有一款标准的分布式数据库服务,帮助其在全球快速布局业务。而 TiDB Cloud 已经在各大主流公有云上提供服务,这也给同盾科技构建坚实的技术底座提供了更好的选择。
标签: 新闻资讯
相关推荐:
最新新闻:
- TiDB x 同盾科技,实时数据架构为风控智能决策保驾护航
- 世界今日讯!SocialFi还是AIGC,谁会引爆2023?
- 世界信息:滴水之恩当涌泉相报类似的句子_滴水之恩
- 【热闻】剧版《三体》弹幕互动量破2000万!豆瓣涨至8.3分
- Zoom裁员1300人 CEO降薪98%并放弃奖金-今日讯
- 【环球快播报】国行Xbox极光紫手柄公布!2月21日限量发售
- 5G or卫星,未来我们到底用什么上网?:天天快资讯
- 《白荆回廊》亮相第二十四届哈尔滨冰雪大世界:全球热消息
- 《大侠立志传》开发稳步推进中 预计2023年上半年发售
- 【天天时快讯】减肥吃什么水果好
- 抖音开始卖药了,首批受邀药店名单披露-当前速讯
- 微信 Mac 最新版更新:可提取图片文字、翻译网页内容
- 《流浪地球2》| 艺卓精准还原 始终如一的专业级HDR视觉体验
- 环球观焦点:《仙剑奇侠传》联动《和平精英》 李逍遥赵灵儿拿枪吃鸡
- 特斯拉汽车上天五周年 重返撞击地球概率百万年内6%
- 《满江红》成中国影史票房榜第8名:超越《长津湖之水门桥》! 看热讯
- 集成显卡能玩什么游戏?集成显卡和核显的区别?
- arpkiller有哪些功能?arpkiller如何使用?
- Switch即将成为史上第二个售出10亿部游戏的主机
- 注册表被禁用怎么办?注册表被禁用无法打开解决方法
- Mathtype公式编辑器如何打出空格?MathType怎么设置公式颜色?
- 如何关闭445端口?关闭445端口的步骤
- 没有启动服务器服务怎么办?服务器地址在哪里看?
- 电脑桌面上的文件都打不开怎么办?打不开桌面文件的原因分析及解决方法
- 双网卡内外网如何配置?双网卡内外网隔离常用的方法
- cpu风扇转速调节方法是什么?cpu风扇转速调多少合适?
- 磁盘碎片是什么?怎样进行磁盘碎片整理?
- 网络正常QQ却登录超时怎么解决?网络正常QQ却登录超时具体的解决方法步骤
- system是什么进程?system进程可以关闭吗?
- USB设备无法识别是什么原因?usb无法识别都有哪些解决方法?
- U盘文件打不开是怎么回事?打不开U盘文件的恢复方法
- 佳能发布青春专微相机EOS R50与 RF-S55-210mm F5-7.1 IS STM镜头
- 剑网三海鳗插件使用教程 剑网三海鳗插件下载安装步骤
- 开机后显示器无信号是怎么回事?显示无信号黑屏是什么原因?
- 罗技mx518驱动怎么下载?罗技g502驱动安装不了怎么办?
- MathType如何与几何画板结合使用?输入矩阵和行列式技巧
- winpcap是什么软件?winpcap主要功能及缺失的现象介绍
- 电脑鼠标单击变成了双击怎么解决?鼠标单击变双击的解决方法
- 轻松玩转Vlog 佳能推出普及型全画幅专微相机EOS R8:天天速读
- 世界速讯:七彩化学2月8日快速回调
- 《魔咒之地》游戏总监荒牧岳志回应玩家批评 修复并改善游戏-微速讯
- 小岛秀夫盛赞剧版《最后生还者》:乔尔选角太棒了! 焦点热门
- 天天快看点丨微软要革谷歌的命,Bing率先升级到ChatGPT下一代
- 天天观点:最后五天!尼康摄影大赛2月13日即将截稿
- 天天最新:佳能直播间将开启“去开始 去感动”直播 新品来袭
- 天天微动态丨科蒂克警告英国:不要阻止微软收购 这不利于你们
- 多年积蓄被熊孩子买了游戏皮肤 父亲崩溃陷退款难:前沿资讯
- 真要涨!北美零售商集体下架《塞尔达传说:王国之泪》实体版60刀预购_环球观速讯
- 消息!重生解释为何不推出大量新内容:避免推出《Apex英雄2》
- 当前视点!智能电视套路收费:广告无法消除、会员一充再充
- 【当前热闻】曾斩获漫画大奖 《天国大魔境》动画确定4月迪士尼+独占发布
- 世纪华通否认代理暴雪游戏国服:传闻不属实
- 【天天新要闻】“一亿中产”正在消亡,日本出现社会阶层危机
- 2023年的云计算什么样?把腿跑细是关键|天天热资讯
- 雨前雨中雨后作文|当前播报
- redist下的exe文件如何使用?redist下exe文件生成的方法
- 全球微动态丨android代码拿到图片路径 mimeType获取图片的方法
- zmud之小技巧 自动enforce和enchant的最大值是什么?:环球快资讯
- 【扑克类】多例模式的概念和作用
- Touch HD全面剖析 直板手机大势所趋
- javascript中的时间日期 Oracle的连接符 环球热资讯
- 领域驱动设计——Domain-drivenDesign:全球快消息
- mysql使用EXPIN脚本的执行效率 PHP综合应用介绍
- 天天最新:xlive.dll丢失怎么解决?xlive.dll没有被指定在windows运行怎么解决?
- mysql出现无效连接属性异常如何处理?_世界快播报
- 最新消息:广东2019年3月全国计算机二级考试报名时间及流程
- linux arp 防火墙关闭 如何关闭360安全卫士的ARP防火墙?
- Arduinomega2560控制42步进电机接线图
- 【全球播资讯】门店客流量如何统计?门店客流分析的重要性
- 【源代码】java.util.Vector容器源代码详解
- pH、水温、溶解氧的指标图 pH值偏高有什么危害吗?-环球快播报
- 什么是百度权重?百度权重详解及影响因素
- 自助建站到底是什么?如何免费生成一个网站?
- uushare书签:用于收藏网址的一种工具_世界焦点
- 如何卸载冰点还原精灵?怎么才能把他彻底删除?