| 昨天，我们举办了云栖大会－阿里大数据分论坛。 意料之中，人气爆表。 感谢老铁们210分钟不间断，不离场。 从今天开始，我们会陆续将7个演讲内容推送给大家，干货太太多，也请大家耐心等待。 阿里大数据分论坛-赋能商业，创造价值 通过串联每个演讲，我们将阿里十余年在大数据领域 沉淀的技术能力和应用实践对外分享，系统性介绍我们是如何构建一个从底层的数据采集、处理，到挖掘算法、应用、产品服务的全链路、标准化的大数据体系，使得超过EB级别的海量数据能够高效融合，并以秒级的响应速度，服务并驱动阿里巴巴的业务和外部千万用户的发展。 1.阿里巴巴全域数据建设 梗概 阿里巴巴数据技术及产品部定位阿里数据中台：以全域大数据建设为中心，技术上覆盖整个大数据从采集、加工、服务、消费的全链路的各个环节；对内对外提供服务。 丰富的大数据生态组件，构成了阿里的核心数据能力，我们通过大数据生态组件，可以迅速的提升数据应用的迭代能力，人人都有可能成为大数据专家。 在全域数据建设过程中，还构建了阿里巴巴OneData体系作为大数据标准化规范，从方法论到落地实践；从对指标定义、数据研发、数据服务的口径管理到数据规范定义、模型规范定义、研发流程的规范化；每个环节均有对应工具进行严格保障，并做到方便管理、问题追溯。（阿里巴巴高级技术专家 张磊）
2.阿里巴巴流计算实践 梗概 阿里巴巴数据及技术产品部流计算服务于集团内外多个实时数据场景，涵盖阿里巴巴集团大多数事业部，包括双十一媒体大屏实时数据，面向商家的生意参谋实时数据，以及面向内部高管与小二的实时数据应用等等。 由于阿里巴巴双11的独特场景，2016双11当天实时数据洪峰达到了近一亿条记录每秒；现在日常每天处理的记录条数达到了万亿级别，每天处理的数据量也达到了PB级别；双11媒体屏第一条记录从交易表经过流计算计算处理到达HBase库仅2.5秒。流计算达到了高精准、零误差，exactly once地处理数据。 为了应对双十一巨大的数据洪峰，流计算团队在引擎选择，优化性能以及开发流计算平台上积累了丰富的经验。（阿里巴巴高级技术专家 陈同杰）
3.阿里巴巴人工智能驱动大数据 梗概 人工智能驱动大数据，要做的是把数据真正打通，深度挖掘数据的价值，为业务创新应用提供数据决策基础和依据。 依托于阿里巴巴全域数据体系，通过大规模图算法，清理整合多源异构数据，实现千亿级别实体的识别与链接。 基于融合的数据，结合机器学习和深度学习框架，阿里巴巴数据中台研发并搭建自动化标签生产系统，它可以实现：快速生产标签，同时不断优化标签的产出，让数据新能源赋能业务。 面向全域数据的知识图谱，利用机器学习、NLP、深度学习等AI技术，助力打造智能化的数据中台，实现数据接入、数据管理与数据应用的全面智能化。（阿里巴巴资深技术专家 杨红霞）
4.阿里巴巴 数据服务和数据产品开发平台 梗概 数据服务和数据产品开发平台通过有机的组合发挥出阿里EB级数据的价值。 数据服务通过规范DSL标准和Query Engine、Push Engine、DAG编排、Algorithm Engine的组合对外提供了单一接口动态化查询所有数据，和实时计算平台打通数据秒级触达应用，平均RT小于5毫秒的数据获取能力，同时除了基础数据指标输出外，还实现了基础服务能力之上提炼的动态逻辑、挖掘、算法能力的服务化输出，完成了数据在业务间的全域流通。 数据产品开发平台通过对阿里数年复杂业务场景下的实践和抽象，通过变和不变的架构设计思路、跨端的大数据，提供一套可供非开发人员自助使用来实现阿里绝大多数数据产品需求的开放平台，实现跨PC、手机、大屏的多端功能，提供数据分析能力、报表配置能力、产品配置能力、产品开发能力，解决非开发人员自助完成看数据、分析数据、使用数据的需求，完成数据对业务的直接赋能。（阿里巴巴资深技术专家 姚滨晖）
5.阿里巴巴数据资产管理体系 梗概 阿里巴巴数据中台通过多年来在该领域不断的深耕实践，形成集资产分析、资产应用、资产优化及资产运营为一体的全链路数据资产管理体系 ：1）资产分析体系，实现数据资产可视化，所见即所有，全面把握及科学分析数据资产，并通过资产地图，帮助用户清晰查看及快速使用数据资产；2）资产治理体系，沉淀计算、存储、质量、模型、安全、成本等六大治理领域，生成治理项，制定优化规则，实现从现状分析、问题诊断、治理优化、效果反馈的资产治理闭环，并构建数据资产分评估模型衡量治理效果，通过打造治理工作台实现资产治理的自动化、智能化，每年节省数亿元的成本，资产治理效率提升50%。3）资产应用管理体系，通过研发全链路端端互通技术OneLog，构建采集端-生产端-服务端全链路闭环，实现从数据采集、数据加工生产、数据服务到用户消费的全链路分析保障，包括数据质量、安全、时效性及稳定性保障；同时基于全链路血缘关系，评估计量数据成本，追踪数据应用价值，实现产品及应用的ROI评估；（阿里巴巴高级技术专家 王伟）
6.阿里巴巴大数据智能技术 梗概 基于阿里巴巴多年实践，将数据建模、数据处理、数据消费的多个数据处理环节打造为一体化工作平台。通过我们统一数据服务产品，以主题式的，业务逻辑方式查询访问数据，这些数据根据企业需求和阶段不同，可以分为垂直数据中心，全域数据中心，萃取数据中心。 在这三大数据体系之上，分别对应研发工作台的不同功能组件提供支持。这些工具的背后，是阿里多年经验和技术的积累，数据内核，将会帮助企业建立：业务逻辑模型、标准化数据定义、智能化物理模型管理、智能化计算框架生成最优代码，并且兼容主流计算引擎。 利用我们的产品，我们可以快速帮助用户建立了一套标准的数据生产流程， 赋能企业，实现数字化转型。（阿里巴巴高级技术专家 王赛）
7.阿里巴巴大数据赋能实践 【友盟+】 梗概 在当今人工智能的三要素，算法，计算和数据中，数据将是企业的竞争壁垒。数据的连接在应用中十分重要，可以帮助打破数据孤独，为最大化的提取数据价值打好坚实的基础。 友盟+在多年的数据实践中总结了大量的经验，特别是在营销和金融风控的场景中。在营销中的人群定向可以使用规则圈选或人群放大，规则圈选虽然直观，但对于人群的区分往往过于简单，而人群放大可以利用算法做较精细的划分。在实践中也取得了比较好的效果。由于移动设备的普及，友盟+的数据在金融风控的场景中体现的独特的作用，是风控数据的一个很好的补充。许多移动使用行为的变量都体现了和风险较强的相关性，通过建模，友盟+为大量的普惠金融企业提供了非常有价值的服务。（【友盟+】CDO 李丹枫）
|
