热腾网

 找回密码
 加入热腾

QQ登录

只需一步,快速开始

搜索
热腾网 首页 行业关系 阿里巴巴 查看内容

双11功臣:定制x86 CPU如何打通从业务负载到 CPU 架构的通路

2017-12-22 23:57| 发布者: 热腾网| 查看: 1731| 评论: 0

摘要: 原标题:双11功臣:定制x86 CPU如何打通从业务负载到 CPU 架构的通路 作者| 辰鉴,晓维,张量 编辑|Linda 背 景 2017 天猫双 11, 数据库处理峰值 4200 万次 / 秒,支付峰值 25.6 万 / 秒 ...

原标题:双11功臣:定制x86 CPU如何打通从业务负载到 CPU 架构的通路

作者| 辰鉴,晓维,张量

编辑|Linda

背 景

2017 天猫双 11, 数据库处理峰值 4200 万次 / 秒,支付峰值 25.6 万 / 秒 ,是去年支付峰值的两倍以上,然而整个双 11 支付交易如丝般顺畅。这是一个从上层业务应用到底层服务器集群的庞大的系统协同的结果,其中作为计算力输出主角的定制 x86 CPU 功不可没 。

双 11 只是阿里业务对计算需求的高速持续增长的一个缩影。而与之形成鲜明对比的是,支撑半导体工业 50 多年的摩尔定律在进入 10nm 工艺的门口逐渐放缓。英特尔的 Tick-Tock 处理器发展模式,即处理器的核心架构和制程工艺隔年升级,两年实现新架构和新工艺的更新迭代,也已延长为 3 年,改为 P-A-O 模式:即制程升级(Process)架构升级(Architecture)优化升级(Optimization)。因此,摩尔定律所带来的天然性能红利已经不足以支撑阿里计算需求快速增长。

虽然横向扩展(Scale Out)从技术上说能在一定程度上满足计算需求的增长,但是 TCO(Total Cost of Ownership)从经济的角度限制了横向扩展的规模。TCO 包括资本支出(CapEx)和运维支出(OpEx),两者相互关联,即 CapEx 的投入必然会带来相应的 OpEx 支出。 优化 TCO 通常有两个路径:提升单位 CapEx 所能获得的有效服务能力,或降低单位 CapEx 所连带的 OpEx 支出。两个路径共同边界为最优 TCO 结果下各自 tradeoff 的最优解。这就意味着在提供资源能力(计算,存储,I/O)总量不变前提下控制横向扩展的规模,及提升资源的服务效率。

X86 CPU 定制之路

在摩尔定律减缓,单纯依靠摩尔定律的红利无法支撑集团计算需求成长的背景下,同时又基于 TCO 考虑,横向扩展受限的条件下,我们把目光聚集到了业务负载和 x86 CPU 架构之间的匹配度上。

我们注意到 CPU 的设计目标是普适所有业务;其代与代之间性能提升约定俗成的用 SPECCPU Benchmark 工具跑分来诠释。该跑分本身是一组基于整形运算或者浮点运算的测试程序集合在特定权重因子加权后的得分,而所遴选的测试程序集合实质上尝试代表各个典型场景的负载,例如 SPECCPU2006 中整型测试集包含了 12 个测试程序,而浮点测试集中包含了 17 个测试程序。这些程序从编译效率、下棋游戏、量子计算模拟、到大型流体力学有限元分析、语音识别、分子模拟等,尝试覆盖处理器能力指标的方方面面。从通用的角度来看,这套价值体系逻辑上可以支撑普适的、综合的对于处理器性能表现的量化评估。而阿里的业务负载特征和 SPECCPU 所代表的负载特征有明显的区别, 这就意味着按照普适标准定义出来的 CPU 架构并不是最适合阿里业务场景的架构。这一差别蕴含着巨大的能效提升机会和 TCO 改善空间,CPU 定制之路也就因此而开启。

阿里的 CPU 定制化之路经历了三个阶段,从最初的规格选型,规格定制,到现在的特征定制 。这是一个从被动到主动,从以他为主到以我为主的历程。下面我们将详细展开介绍。

1. 规格选型

规格选型的核心之意在于“选”,即 CPU 厂商提供一系列可选的 SKU,我们依据自己的 TCO 模型选取最适合自己业务负载的 SKU。严格意义上的说,这并不属于定制范畴,但在相当长的一段时间里,这是包括阿里在内的互联网公司部署服务器 CPU 的主要途径。

具体来说,规格选型定义了一个多维度可配置空间,如图 1 所示(为了便于表示,图中只画了 2 个维度)。在这个多维空间中,CPU 厂商选取了一些他们认为有价值的配置组合,并以 SKU 的形式呈现出来,供用户选择。在这里,我们需要强调一下几点:

  • 这些 SKU 配置维度都是非常粗粒度的,通常包括诸如内核数量,内核最高频率,末级高速缓存大小等宏观架构,并不会涉及微架构层面的配置。

  • 在每个维度上,并不是所有的可能值都会有相应的 SKU。同时,也并不是所有可能的配置组合都有相应的 SKU 呈现出来。是否提供某一 SKU,完全是由 CPU 厂商依据通用的 Benchmark 决定的。在这样的情况下,不难发现我们所期望的理想配置与所提供的 SKU 配置之间可能会有很大的距离。这一差别所造成的性能和功效的损失,随着摩尔定律对整体性能提升变缓,而显得越发突出。

1. 规格选型示意图

2. 规格定制

规格定制迈出了以我为主的定制的第一步。它不再局限于 CPU 厂商所提供的默认的 SKU 配置选项,而是主动要求 CPU 厂商提供一个或多个 专门针对自身负载需求的新的 SKU,如图 2 所示。这里我们在原有的配置维度上,引入了一个原先 CPU 厂商没有提供的配置组合。可以发现,规格定制后的 CPU 配置与理想配置之间的距离要比规格选型的要小很多,这直接带来了可观的能效提升。

规格定制之所以成为可能,除了规格选型的弊端带来的压力以外,还有两点要强调:

  • 互联网公司业务的爆发式增长所带来的它的数据中心服务器规模的急速增长。这意味单家公司的 CPU 采购量足够大,使得 CPU 厂商在经济上愿意提供定制服务。

  • 互联网公司对自身业务负载的计算需求理解加深,从而有能力在 CPU 宏观架构上提出自己的需求。

目前,所有在阿里数据中心运行的 x86 CPU 都是至少经过规格定制的。然而,规格定制仍然是粗粒度的定制,局限在 CPU 厂商所给出的有限的配置空间中,可选的余地比较小。理想配置和规格定制配置之间还有不小的距离。

2. 规格定制示意图

3. 特征定制

特征定制摆脱了规格定制的局限,它可以让我们主动的在配置空间引入一个新的维度,并在这个维度上提出我们的功能需求,如图 3 所示。在这里,我们可以有如下解读:在规格定制中的所谓的理想配置,其实只是在那个所给的配置空间的“理想配置”,它实际上是在新引入的维度空间在规格定制空间上的一个投影。因此,规格定制的配置与理想配置的实际差别要比原先的大很多。相应的,规格定制的 CPU 只有在补上了特征定制的功能后才能缩小与理想配置的差别。

特征定制在 x86 CPU 上可以有多种实现形式,其中一种常用实现形式是通过微代码补丁,添加或修改一些特殊的能大幅提升业务性能的指令。

3. 特征定制示意图

展 望

x86 CPU 定制项目已经给集团带来了相当可观的收益,为阿里的各项业务,尤其是每年的双 11 提供了可靠的计算力保障。我们将进一步深入了解业务需求,夯实 CPU 定制的基础, 进一步细化定制程度。同时,我们也意识到,CPU 定制只是打通了从业务负载到 CPU 架构的通路,如何充分利用现有 CPU 的各项特性来优化上层负载,是计算力输出的另一个重要环节。我们将协同各业务团队将这一环节进一步完善起来,从而形成一个负载到 CPU 架构到负载闭环,通过不断迭代来持续提供计算力升级。

活动推荐

2017 年软件研发领域有很多新的变化,比如 Java 9 正式发布;Kotlin 得到 Google Android 正式支持;Spark、Kafka 等框架纷纷引入流式计算能力;AI 技术蓬勃发展等等。

新一年的技术新趋势 QCon 全球软件开发大会也与你一同关注。目前,我们已经确认多位技术专家:Netflix 工程总监 Katharina Probst、Kotlin 团队工程师 Roman Elizarov、Apache Spark Structured Streaming 的核心开发人员朱诗雄、爱奇艺科学家李典等老师将在现场分享前沿技术案例,共呈技术盛宴。

2018 北京站现在报名享 7 折优惠,立减 2040 元。有任何问题可咨询购票经理 Hanna,电话:15110019061,微信:qcon-0410。


杯具

无语

很好

蛋定

愤怒

最新评论

相关分类


相关文章

热腾网X

未实名认证用户将不可发帖!

即日起,未实名认证用户将不可发帖,注册后,发帖请遵守当地法律法规。 【点击进行实名认证】...

点击查看详情