华为、eBay、News Break是如何实现大数据和人工智能融合的 | ArchSummit

目前，在大数据应用领域，大家遇到的问题也很集中，首先是数据治理难，企业数据治理成本高，投入大；其次是技术门槛高，企业 IT 平台技术门槛高，技术架构复杂，数据孤岛和业务孤岛严重。再次是成就业务难，IT 团队数据团队成就业务压力大，如何体现数据的价值，如何体现数据平台的价值。最后是业务仿真难，数据与业务割裂，如何基于数据实现对业务的仿真、模拟、验证、预测。

针对以上这些问题，我们在 12 月 2-3 日北京 ArchSummit 全球架构师峰会上，专门策划了这样的专题，希望让听众了解数据治理、数据分析、数据决策、大数据平台等领域，最新的技术和大公司的实践，了解他们是如何将 AI 能力与大数据技术结合，实现数据分析治理等工作的效率大幅提升，实现大数据引擎的性能优化、成本优化的。

议题一：华为数智融合的理念与实践

针对数据价值很难得到充分挖掘的问题，华为数据智能首席架构师龙江老师，会介绍华为团队的解决方案：把数据、AI 模型、应用深度结合，通过低代码方式将企业业务进行快速仿真，实现数据驱动的智能决策。效果也很明显，那就是通过数智流水线平台，华为实现财经、运营等领域核心业务场景，100% 实现系统智能辅助专家决策。

演讲的内容，包括华为数智融合的理念与关键技术，以及数智领域世界级难题解决思路。

议题二：基于元数据和配置驱动的 eBay 交易风控 AI 模型管理和部署实践

eBay 的支付业务覆盖全球，交易风控面临的挑战很多。AI 模型作为交易风险控制的不可或缺的手段，在 eBay 交易风控系统中承担了至关重要的角色。来自 eBay 的资深工程师王兵老师，围绕这个话题，分享他们提出的一种新的模型集成和部署方式，通过统一的模型元数据和配置，避免了模型训练和模型部署过程中的不一致，减少的人工代码开发的工作，极大降低了模型上线的门槛，提高了模型部署的效率。

议题三：Hudi+Presto 在 News Break 数据平台的尝试

这次也邀请到了 News Break 架构师关立胜老师，来分享 Schema registry + Hudi + Presto/Spark 这比较主流三件套的组合拳，以及 2C 数仓设计的一些理念，尤其是有多个数据源和漏斗模型。

在 CDH to AWS 的迁移过程中，基于传统的 Hive ETL 方案无论在性能、实效性和可维护性上已经跟不上业务的诉求。Hudi 的快速入湖 + Presto 的快速查询，再结合 Schema registry/evolution，良好的数仓分层设计，为构建现代数据平台提供了主要组件。最终效果是对关键数据的端到端时延控制在 15 分钟以内，比较好的支撑了业务发展。同时 Hudi + Spark 也极大提高了推荐系统数据流效率，和节省了 AWS 开支。

除了以上这些话题之外，ArchSummit 会议上还有数字化场景下的业务架构、微服务架构实践、国产化软件迭代优化、软件质量保障等话题，感兴趣的可以点击阅读原文查看大会日程。

责任编辑：赵龙

文章来源：http://www.anfangnews.com/2022/1115/2554.shtml