李俊渠英伟达Blackwell在亚马逊云科技上的应用,使得该平台在应对资源密集型和数万亿参数语言模型等推理工作负载加速方面实现了巨大飞跃。
Blackwell 在单芯片训练方面的 FP8 性能是其上一代架构的 2.5 倍,在推理方面的 FP4 性能是其上一代架构的 5 倍。在具有 1750 亿个参数的 GPT-3 大语言模型基准测试中,GB200 性能是 H100 的 7 倍,训练速度是 H100 的 4 倍,成本和能耗上GB200 比 H100 降低了 25 倍。
在安全性方面,亚马逊云科技的Nitro 系统、Amazon KMS、EFA加密 和 Blackwell 加密的集成将为客户提供对其训练数据和模型权重的端到端控制,从而为客户在亚马逊云科技上的生成式AI应用程序提供更强的安全性。
Blackwell也加入了双方合作的Project Ceiba项目,该项目专为NVIDIA自身的AI研发工作设计,是一台亚马逊云科技上托管的采用DGX Cloud的AI超级计算机,它搭载了20,736颗GB200 Superchips芯片,并通过第四代EFA网络扩展,为每个Superchip提供高达800 Gbps的低延迟、高带宽网络吞吐量,能够提供414 exaflops的计算能力,与之前计划在Hopper架构上构建Ceiba相比,性能提升了6倍。
同时,亚马逊云科技与英伟达联手,通过Amazon SageMaker与NVIDIA NIM推理微服务的整合,提供了高性能、低成本的生成式AI推理解决方案,该服务作为NVIDIA AI企业版的一部分提供。客户可以利用这一组合在Amazon SageMaker中快速部署和运行已预编译且对NVIDIA GPU进行优化的基础模型,缩短生成式AI应用的推出时间。
亚马逊云科技与英伟达还在利用计算机辅助的药物发现领域进行合作拓展,推出了新的NVIDIA BioNeMo基础模型,用于生成化学、蛋白质结构预测,以及理解药物分子与目标的相互作用。这些新模型将很快在Amazon HealthOmics上提供,这是一个专为帮助医疗保健和生命科学组织存储、查询和分析基因组、转录组及其他组学数据而设计的专用服务。
Amazon HealthOmics和英伟达医疗保健团队还合作推出生成式AI微服务,以推进药物发现、医疗技术和数字健康领域的发展,该服务提供一个新的GPU加速的云端服务目录,涵盖生物学、化学、成像和医疗保健数据,以便医疗企业能够在亚马逊云科技上利用生成式AI的最新成果。
亚马逊云科技首席执行官Adam Selipsky表示:“我们双方的深入合作可以追溯到13年前,当时我们共同推出了世界上第一个亚马逊云科技上的GPU云实例,而今天我们为客户提供了最广泛的英伟达GPU解决方案。英伟达的下一代Grace Blackwell处理器是生成式AI和GPU计算领域的标志性事件。当结合亚马逊云科技强大的EFA网络、Amazon EC2 UltraClusters的超大规模集群功能,以及我们独有的Amazon Nitro高级虚拟化系统及其安全功能时,我们就能够使客户更快、更大规模且更安全地构建和运行具有数万亿参数的大型语言模型。”(果青)
每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。
TechWeb微晚报:iPhone 16/16 Plus有望新增白色配色,30天内WPS崩了2次?
对话凯文·凯利:人工智能可能演进为生态系统 金融和医疗行业会最先拥抱AI
消息称苹果新款Apple Watch SE和低价AirPods可能有更高销量
消息称苹果智能不会立即推升iPhone 16销量 价格若上涨可能影响需求
青云QingCloud EHPC 打造即买即用的全流程SaaS化超算服务
蚂蚁链发布BTN:可将区块链网络吞吐量提升186% 带宽成本降低80%
蚂蚁自研数据库OceanBase宣布开源 300万行核心代码向社区开放
|