图片来历@视觉中国天生式野生智能（GenAI）流行，芯片是承托一切摸索和能够性的根本。“现在我们买不到，云厂商内部自己留着，我们跟云厂商也买不到。怎样谈下一步合作？”一家中国互联网企业的营业负责人近段时候暗示。缺卡，不但让这家企业的AI营业遭到影响，也给为之办事的云厂商提出了质疑。在中国，芯片需求很是兴旺。但众所周知的芯片禁令影响，特别是今年10月美国对华半导体出口新一轮禁令的施压，英伟达“中国特供版”A800和H800等产物将遭到影响。而放眼全球范围内，对用于练习和推理机械进修模子的GPU性能的需求增加，跨越了全部行业的供给量，GPU也是稀缺资本。亚马逊云科技开创了云厂商自研芯片的先河，以致于后来的云办事商也会以它为参照。包括微软近期推出的AI加速计较的Maia 100芯片，谷歌云起初推出的 AI 张量处置单元TPU等，云厂商供给AI公用芯片也答应以在GPU紧缺时满足客户一定诉求，若何满足当前市场对AI算力高涨的需求，对一切云厂商而言，都是一道必答题。比如，亚马逊云科技这两年其明显在加速自研芯片的脚步。从最悠久的虚拟化芯片Amazon Nitro，到基于ARM架构的通用计较芯片Amazon Graviton，以及用于野生智能练习和推理的两款公用芯片Amazon Trainium和Amazon Inferentia。未几前的re:Invent全球大会上，亚马逊云科技正式公布两款新型芯片Amazon Graviton 4和Amazon Trainium2。亚马逊云科技一向在夸大其追求，即找到更好的方式让云上营业负载获得更强的性能和极致的性价比。虽然在英伟达GPU“一卡难求”的大情况下，头部的云厂商具有很是强的拿卡才能。在今年re:Invent大会另一个不容轻忽的风向是，“亚马逊云科技正尽力使自己成为云上供给英伟达GPU最好的云计较厂商。这是我们的诉求之一，”亚马逊云科技大中华区根本设备产物技术总监郭峰告诉钛媒体。亚马逊云科技公布了与英伟达的几项新合作：将供给首款搭载NVIDIA Grace Hopper超级芯片和Amazon UltraClusters技术的云AI超级计较机。同时，首款利用英伟达最新芯片GH200 NVL32的NVIDIA DGX云也将登陆亚马逊云科技。而双方合作展开的“Project Ceiba”合作项目，也被视为将会是天下上最大的云AI超级计较机，托管在亚马逊云科技云上，由英伟达工程师团队利用。亚马逊云科技利用芯片和自研芯片的计谋意图不言而喻：对于有些客户基于“模子需要快速上线，采用很多已有的资本”的诉求，会挑选英伟达GPU，亚马逊云科技会为用户供给尽能够周全的挑选；同时，用户本身有持久成长的需求，亚马逊云科技正供给新的SDK帮助用户利用自研芯片，用于大模子或GenAI相关研发场景。亚马逊云科技的战略是，对峙自研芯片，且采用了其焦点云办事器EC2的企业，一般也会采购其自研芯片支持的EC2实例，这是已经被考证过且成功了的门路。按照官方公布的数据，“已经有跨越5万客户在利用Graviton。其中TOP100的Amazon EC2客户，全数挑选了基于自研芯片Graviton的EC2实例。”整体来看，亚马逊云科技还在延续深化未来计较和AI才能平台，包括云根本设备相关的数据中心、存储、芯片，围绕天生式AI的端到端算力和数据根本办事，以及前端利用法式如Amazon Q等。现在，亚马逊云科技已经供给了跨越600品种型的计较实例供普遍客户挑选；据PitchBook数据，全球估值跨越10亿美圆草创独角兽公司中有80%以上都将工作负载运转在亚马逊云科技上。
客户需求和性价比驱动计较创新
以客户为视角，帮助客户供给分歧负载下的才能支持，还有很大创新空间。想要重新界说计较实例，离不开计较的焦点——芯片。今朝在云互联网厂商中，相对早地蹚过芯片设想流片的困难期，决议了一家企业在云市场合作中的话语权。这也几近是当前谷歌、微软、阿里等头部厂商都在做的工作。想要自研芯片也并非一日之功。亚马逊云科技在2013年决议自研，也是源自客户对Amazon EC2提出的诸多诉求，这要求亚马逊云科技需要延续增加新实例，以满足各类营业需要。那时，亚马逊云科技利用了针对X86的开源虚拟化Xen，答应多个虚机在一台物理机上运转。但有跨越30%的处置因支持虚拟治理法式而浪费掉了，这项开支促使亚马逊云科技决议开辟定制芯片，用于特定利用法式的工作负载。2013年，亚马逊云科技与AMD起头合作，公布了Amazon EC2 C3实例。此时的亚马逊云科技云范围已经在不竭扩大，亚马逊云科技看到性能提升不敷对未来架构的限制。这也促使亚马逊云科技与Annapurna Labs合作，并在2015年推出Amazon EC2 C4实例，对存储和收集的卸载功用优化。与此同时，亚马逊云科技斥资3.5亿美圆收买了Annapurna，此次收买也催生出后来的Project Nitro，即new Nitro，与此前跟Cavium合作推出的首款Nitro定制芯片作为区分。此时，亚马逊云科技引入了C5实例，用另一个虚拟化技术KVM取代了Xen，并将虚拟机治理法式与ASIC更慎密地连系在一路。继Nitro以后，亚马逊云科技将Arm芯片开辟扩大到其他产物线，其中包括2018年初次推出的Graviton和Inferentia，以及2020年的Trainium。基于Arm设想的芯片这一行动，打破了亚马逊云科技对x86的依靠，开启了新架构时代，该架构现在支持多种设置来支持数据麋集型工作负载。今年新推的三款芯片和实例，按照官方信息钛媒体整理以下：Amazon Graviton4，均匀性能比Graviton3提升30%，对某些工作负载的加速更明显，数据库利用法式速度提升40%，大型Java利用法式速度提升45%。今朝基于Graviton4的EC2 R8g实例的预览版已经推出。Amazon Trainium2，用于天生式AI和机械进修练习，针对练习具稀有千亿至数万亿参数的根本模子停止优化，相较Trainium性能提升多达4倍，内存提升3倍，能源效力（每瓦性能）提升多达2倍，并能在云上的EC2大范围集群中扩大至10万个芯片，最高供给65 exaflops的AI算力。至于今年4月推出的Amazon Inferentia2芯片和Inf2实例，针对于大模子和天生式AI推理，与一代相比，Amazon Inferentia2的吞吐量进步4倍，提早低至前者的1/10。
Amazon Graviton4 和Amazon Trainium（原型）实在每一代芯片迭代都曾带来大幅度的性能提升，像Nitro已经迭代到第五代，为Amazon EC2加速实例创新奠基根本。Graviton曩昔五年也履历四次严重迭代，基于Graviton的Amazon EC2实例品种到达150多个，已经构建的Graviton处置器数目跨越200万个。亚马逊云科技持久以来对峙的自研芯片计谋，已经在客户需求的反哺中一路升级。
GenAI在全球范围成为一股重要气力
自证不如宴客户来佐证。以F1用上Graviton为例，F1几年前将其CFD模拟迁移至亚马逊云科技的高性能计较（HPC）平台，并引入基于Amazon Graviton2处置器的Amazon EC2 C6gn实例。这不但使CFD模拟时候大幅收缩，还使本钱下降了30%。随着基于Amazon Graviton3处置器的Amazon EC2 C7g实例的推出，F1又成为该实例首批利用的用户之一。由于Graviton带来的性价比提升，已经吸引很多客户前来利用，包括Datadog、DirecTV、Discovery、SAP、Snowflake、Sprinklr、Stripe、Zendesk、Freewheel，还有中国的涂鸦智能、大宇无穷等企业。为此，Graviton3的EC2 C7g、M7g、R7g实例也于克日在亚马逊云科技中国（北京）地区和中国（宁夏）地区正式可用。这间隔上一代Graviton2支持的EC2 M6g、C6g和R6g实例落地中国区已近三年。不外，在GenAI趋向下，更多企业客户也在关注AI芯片。究竟从采购芯片到练习大模子，实现推理利用，已经隔了好几座本钱高山。据英伟达报道，其二季度支出的22%由单一云办事商鞭策，这其中自然包括亚马逊云科技。安迪·贾西在今年财报电话会上夸大，由于现阶段芯片需求量很高，英伟达等头部芯片公司的GPU常常求过于供，一些AI公司正在转向挑选亚马逊云科技自研芯片处置营业。这从Anthropic、Databricks、Helixon、Money Forward，以及Amazon Search团队的挑选上可以了解，它们也经过亚马逊云科技利用Trainium2，停止大范围深度进修模子的练习工作。数据显现，客户今朝可在数周就能练习完成一个具有三千亿参数的大说话模子。“每瓦特的性能”也是亚马逊云科技公布的目标之一。影响芯片性能提升的一个首要瓶颈是能耗题目，保证每瓦特情况下可以输出更好的计较才能，才可以使计较情况更延续成长。单看亚马逊云科技当前公布的最新芯片，在完成不异工作负载的条件下，已经比同范例芯片或上一代自研芯片所耗能源已经有倍数级的下降。而当业内会以为接下来将是GenAI利用爆发之年，作为早一步感遭到算力资本供授与需求变更的云厂商也早已加速行动。（本文首发钛媒体APP，作者 | 杨丽）
