诛仙2修真总动员AI时代,亲民、易用的CPU如何能实现相比GPU更具性价比的加速方案?英特尔® 至强® 可扩展处理器给出答案:内置AI加速引擎,更好地承载人工智能应用工作负载。
现在若是将不超过 200 亿参数的模型“投喂”给第五代至强®️ 可扩展处理器,那么时延将低到不超过 100 毫秒!
而这也仅是英特尔在此次发布中的一隅,还包括打破自家“祖制”、被称为四十年来最重大架构转变的酷睿™️Ultra。
除此之外,具体到英特尔长期在各行各业扎根的AI实战应用,包括数据库、科学计算、生成式AI、机器学习、云服务等等,也随着第五代至强®️ 可扩展处理器的到来,在其内置的如英特尔®️ AMX、英特尔®️ SGX/TDX等其他内置加速器的帮助下,得到了更大的降本增效。
• CPU核心数量增加到 64 个,单核性能更高,每个内核都具备AI加速功能
• 与上一代产品相比,相同热设计功耗下平均性能提升21%;与第三代产品比,平均性能提升87%。
• 与上一代产品相比,内存带宽提升高达16%,三级缓存容量提升至近 3 倍之多。
不难看出,第五代至强®️ 可扩展处理器与“前任们”相比,在规格与性能上着实是有了不小的提升。
但英特尔可不仅仅是披露,而是已经将第五代至强®️ 可扩展处理器用起来,并把实打实的使用效果展示了出来。
例如在大模型的推理方面,京东云便在现场展示了搭载第五代至强®️ 可扩展处理器的新一代自研服务器所呈现的能力——
而除了大模型之外,像涉及AI的各种细分领域,如整机算力、内存宽带、视频处理等等,也有同样的实测结果。
这份结果则是来自采用了第五代英特尔® 至强® 可扩展处理器的火山引擎——
其全新升级的第三代弹性计算实例,整机算力提升39%;应用性能最 高提升43%。
而且在性能提升的基础上,据火山引擎透露,通过其独有的潮汐资源并池能力,构建了百万核弹性资源池,能够用近似包月的成本提供按量使用体验,上云成本更低了!
这是由于使用内置于第五代至强®️ 可扩展处理器中的加速器时,可将每瓦性能平均提升 10 倍;在能耗低至105W的同时,也有已针对工作负载优化的高能效SKU。
在搭载第五代英特尔® 至强® 可扩展处理器及其内置的英特尔® AMX、英特尔® TDX加速引擎后,阿里云打造了“生成式AI模型及数据保护“的创新实践,使第 8 代ECS实例在安全性和AI性能上都获得了显著提升,且保持实例价格不变,普惠客户。
包括推理性能提高25%、QAT加解密性能提升20%、数据库性能提升25%,以及音视频性能提升15%。
值得一提的是,内置的英特尔®️ SGX/TDX还可以为企业分别提供更强也更易用的应用隔离能力和虚拟机 (VM) 层面的隔离和保密性,为现有应用提供了一条更简便的向可信执行环境迁移的路径。
以及第五代英特尔® 至强® 可扩展处理器在软件和引脚上是与上一代兼容的,还可以大大减少测试和验证工作。
总的来说,第五代至强® 可扩展处理器可谓“诚意满满”、表现非常亮眼,而它背后所透露出来的,正是英特尔在AI领域一直都非常重视落地的态度。
事实上,作为服务器/工作端芯片,英特尔® 至强® 可扩展处理器从 2017 年第 一代产品开始就利用英特尔®️ AVX- 512 技术的矢量运算能力对AI进行加速上的尝试;而 2018 年在第二代至强®️ 可扩展处理器中导入深度学习加速技术(DL Boost)更是让至强成为“CPU跑AI”的代名词;在之后第三代到第五代至强®️ 可扩展处理器的演进中,从BF16 的增添再到英特尔®️ AMX的入驻,可以说英特尔一直在充分利用CPU资源的道路上深耕,以求每一代处理器CPU都能支持各行各业推进AI实战。
例如第二代至强®️ 就发力智能制造,帮助企业解决海量实时数据处理挑战,提升生产线系统效率,完成“肉眼可见”的产能扩展。
在AlphaFold2掀起的蛋白质折叠预测热潮之中,第三代和第四代至强® 可扩展处理器连续接力,不断优化端到端通量能力。实现比GPU更具性价比的加速方案,直接拉低AI for Science的入场门槛。
这其中就有从第四代开始内置于CPU中,面向深度学习应用推出的创新AI加速引擎——英特尔® AMX的功劳。作为矩阵相关的加速器,它能显著加速基于CPU平台的深度学习推理和训练,提升AI整体性能,对INT8、BF16 等低精度数据类型都有着良好的支持。
与此同时,在大模型时代的OCR技术应用,也被第四代至强® 可扩展处理器赋予了新的“灵魂”,准确率飙升、响应延迟更低。
同样,就在不久之前,借助第四代至强®️ 可扩展处理器在NLP上的优化,专攻医疗行业的大语言模型也成功以较低成本在医疗机构部署落地。
在AI技术越来越深入各行各业的大趋势之下,至强® 可扩展处理器让我们看到,它所代表的CPU解法完全能够有所作为、能够让不少AI应用在部署更为广泛、获取更加容易、应用门槛也更低的CPU平台上获得实实在在的落地开花。
这一成绩的背后,确实是因为大家对“在CPU上跑AI”这件事上有需求,以及它本身也有极其深厚的价值和优势。
先说需求,无论是传统企业推进智能化改造,还是AI for Science、生成式AI等新兴技术的蓬勃发展,都需要强大的算力来驱动。
但大家面临的局势却是:专门的加速芯片供不应求,采购难不说,成本也十分高昂,因此还远远不够普及。
就拿当下热门话题生成式AI来说,如果想在生产环境中普及这一能力,就得尽可能地控制成本。
相比训练来说,AI的推理对算力资源需求没有那么夸张,交给CPU完全能够胜任——不仅延迟更低,能效也更高。
此外,利用CPU直接进行部署还能让企业充分利用既有IT基础设施,避免异构平台的部署难题。
以上,我们也就能够理解:在传统架构中引入AI加速,就是CPU在这个时代的新宿命。
实话说,如果和专门的GPU或AI加速芯片相比,它可能确实还不够炫,但主打亲民、易用(开箱即用,配套的软件和生态越发完善)。
更值得我们注意的是,就算在有专用加速器的场合,CPU无论是从数据预处理,还是模型开发和优化,再到部署和使用,也可以成为AI pipeline的一部分。
无论是以GB还是TB计,甚至更大的数据集,基于至强® 可扩展处理器所打造的服务器,都能通过支持更大内存、减少I/O操作等优势,提供有效的处理和分析,节省AI开发中这一最琐碎耗时任务的时间。
再加上它在GPU和专门的AI加速芯片上也有布局,“武器库”里的选择也更多了,火力覆盖的能力也更全面了。
特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。
11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
千呼万唤始出来,第五代英特尔®至强®可扩展处理器,它来了!若是用一句话来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:与第四代相比,训练性能提升多达29%,推理性能提升高达42%;与第三代相比,AI训练和推理性能提升高达14倍。AI落地时代开始了,英特尔的机会也来了?*有关第五代英特尔®至强®可扩展处理器更多详情可点击阅读原文。
实用化AI算力又升上了一个新台阶。在人工智能的应用领域,出现了一些让人始料未及的趋势:很多传统企业开始选择在CPU平台上落地和优化AI应用。英特尔还将如何实现晶体管和芯片性能的飞跃,在AI算力上还能有什么样的跃升?让我们拭目以待。
实用化AI算力又升上了一个新台阶。在人工智能的应用领域,出现了一些让人始料未及的趋势:很多传统企业开始选择在CPU平台上落地和优化AI应用。
近日,澜起科技正式发布了第五代津逮CPU处理器,是面向国内本土市场的x86架构服务器芯片。澜起科技官方明确表示,第五代津逮基于Intel刚刚发布的第五代至强,均通过了澜起科技的安全预检测测试。目前已有数家服务器厂商合作,基于第五代津逮CPU的机型已陆续上市。
玫瑰的花期虽然短暂,但爱意却能长久延续。正如柏卡姿玫瑰纯露,它凝聚了自然的玫瑰精华,让你的肌肤在每一个阳光微曜、微风正好的午后,都能体验到那抹来自玫瑰的细腻与浪漫。在这款柏卡姿新版纯露的陪伴下,让肌肤尽享浪漫之旅,展现出令人心动的美丽。
此前在今年9月,我们三易生活曾经结合当时最新的架构资料,以及所拿到的一些独家内部数据,率先为大家“解析”了英特尔的最新一代移动处理器架构。现在大家都已经知道,当时我们所“解析”的对象就是刚刚发布的第一代酷睿Ultra处理器的某个ES版本。比起单纯往CPU里塞硬件AI加速单元,英特尔这套独特的异构处理设计,以及他们为推动“AIPC”普及进行的大量适配,可能
努比亚Z60Ultra今日正式发布,配备全新第五代UDC全面屏,宣称打造年度旗舰颜值天花板”。努比亚Z60Ultra搭载第五代UDC全面屏,采用京东方屏下Q9+发光材料,色彩显示稳定性提升50%。其前摄灵透算法升级到5.0版本,通过AI深感引擎智能识别拍摄场景,并根据不同环境进行算法调节、智能提升成像画质,尤其在视频通话中,亮度和通透性提升了20%。
在今日“让AI无处不在”的活动上,英特尔CEO帕特・基辛格还首次向公众揭示了英特尔Gaudi3系列AI加速器,这是一款专为深度学习和大规模生成人工智能模型设计的工具,计划明年推出。新一代的Gaudi3AI加速器凭借出色的性能优势和极具竞争力的总体拥有成本及定价,有望在2024年占据更大的市场份额。它还将配备最高达128GB的HBM3e内存,这将大幅提升AI的学习和训练性能,直接与英伟达的H200加速卡竞争。
StableDiffusion图像生成器背后的英国人工智能初创公司StabilityAI正在探索出售该公司,因为管理层面临着投资者对其财务状况越来越大的压力。这家位于伦敦的公司近几周已将自己定位为潜在的收购目标,并与多家公司进行了初步对话。」英特尔的发言人拒绝发表评论。
英特尔正式发布了全新酷睿Ultra移动处理器,代号为MeteorLake。酷睿Ultra的设计目标是在能效、制造工艺和性能方面实现突破。它的AI性能在各个方面都遥遥领先竞品,比如在GIMPStableDiffusion中,性能提升达到了竞品的5.4倍。
NSFWLover是一个能与虚拟女友和虚拟男友进行AI爱情聊天的最佳AI站点,可以进行角色扮演,与浪漫的聊天机器人和AI女孩交谈,无限制,没有过滤。该产品提供多种虚拟人物供用户选择,每个人物都有自己独特的故事和特点。用户可以根据自己的喜好和需求选择合适的虚拟伴侣。
如果您需要一个快速准确的AI检测工具,您来对地方了。我们的AI内容检测器可以准确地显示出文本中是否有任何部分是由AI生成的。使用它并自行检查!
Reference Finder是一个帮助学生快速找到可靠引用来源的工具。它可以提供一系列与您的论文主题相关的可靠来源,帮助您快速完成论文。使用我们的引用查找工具,轻松快捷地撰写论文。
Fast HW是一款AI写作助手,帮助你轻松引用科学文献并组织你的文章。它能够提供写作建议、自动引用文献、优化语言表达等功能,让你的写作更加高效和专业。定价灵活多样,适用于大学生和专业写作人士。
CoGrader 是一款教师评分助手,通过 AI 技术帮助教师高效评分,提供即时和全面的反馈,节省 80% 的评分时间。支持 Google Classroom 集成,可以导入和导出作业。通过分析学生数据,提供班级分析和挑战点,支持多语言评分。
Rex.fit是一个由AI驱动的营养和健身教练,旨在根据个人的独特目标(如长寿、减肥或增肌)量身定制健康转型方案。通过WhatsApp与Rex交流,用户可以记录餐食、获取个性化的锻炼建议、查看日常报告和反馈,从而在减重、健身或提高生活质量方面取得显著进展。
Aha Vector Search是一个高性能、低成本的端到端向量搜索服务。它提供了一种快速构建端到端向量搜索的方法,帮助用户以更低的成本实现高效的搜索体验。
SparkSocial是一款AI驱动的社交媒体营销工具,通过监控关键词、实时追踪、情感分析和全面报告,帮助用户更接近受众。它提供自动生成回复、竞争分析、受众发现等功能,帮助用户发现潜在客户、提升品牌曝光、进行大规模冷外联等,同时提供数据驱动的报告和分析。定价灵活,适用于企业、代理机构、SaaS以及创作者。
News Minimalist是一个AI策展的新闻摘要服务,它从海量新闻中筛选出线%的故事。这个服务提供了一个没有垃圾新闻、点击诱饵或广告的纯净新闻阅读体验,用户可以通过每日通讯获得新闻摘要。
Creately VIZ是一款AI视觉智能工具,能够快速生成可视化内容,自动化任务,并帮助用户发现新的视角。它提供多种功能,包括AI模板生成、自动化工作流程、与团队协作等。适用于各种场景,如白板协作、业务流程管理、战略规划等。产品定位于提高团队工作效率,提供创新视角。
GeminiProChat是GeminiPro的最小化Web界面,提供简洁有效的聊天体验。它支持通过环境变量来控制网站,允许使用者通过Docker部署,并提供易于部署的Vercel和Railway选项。GeminiProChat是一个灵活的工具,适用于需要简单、高效聊天界面的用户。
AppAgent是一个基于LLM(大型语言模型)的多模态代理框架,设计用于操作智能手机应用。通过简化的动作空间(如点击和滑动),模仿人类般的互动方式,实现应用操作,无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法,创建知识库用于执行不同应用中的复杂任务。
Reply Boy是一款Chrome浏览器插件,旨在帮助您增加Twitter账号的曝光。您可以选择不同类型的回复(问题、肯定),并选择不同的情绪(浪漫、有趣、聪明等),从而轻松产生优质的推文。Reply Boy注重安全和隐私,不追踪用户数据,不记录消息,遵守Twitter规则,无需您的密码。您可以免费尝试,无需任何设置。
DeepSwapper是一款免费高质量的换脸服务。用户可以通过上传图片进行换脸操作,DeepSwapper提供无水印、无广告、高质量、无限次数的换脸服务。DeepSwapper使用AI技术实现真实的脸部交换效果。DeepSwapper支持多种图片格式上传,同时也提供API服务。
Animos是一款面向儿童的对话玩具,也是家长的辅助工具。它通过AI技术回答孩子的各种问题,提供逻辑思维游戏,引入早期双语环境,并帮助孩子理解和处理情感。Animos旨在将屏幕时间转化为互动学习冒险,提高儿童的语言发展,识别孩子的兴趣并激发好奇心。此外,Animos注重隐私保护和内容安全,为家长提供日常总结和反馈功能。
使用Resume,在短短 5 分钟内创建一份能帮助你获得工作的简历。选择超过 20 个专业、现代和创意的简历模板。
Slay School是一款AI闪卡制作器,能够帮助学生将笔记转化为简洁易记的闪卡,节省时间并专注于学习。用户可以上传讲座资料、粘贴笔记或提交链接,Slay School能在几秒钟内自动生成闪卡。支持自测或导出至Anki/Quizlet。产品定位于学生群体,特别适合医学生。
Steerable Motion是一个用于批量创意插值的ComfyUI节点。我们的目标是展示在图像作为视频模型演变时,如何以最佳方式驱动运动。
EasyTranslator是一个基于OpenAI API的命令行工具,支持多种文件格式(包括.txt、.pdf、.docx、.md、.mobi和.epub)的翻译。它可以轻松地翻译文本文件,消除语言障碍。
Google Gemini是由DeepMind开发的多模态AI模型,可以处理文本、音频、图像等多种信息。它包括三个版本:Ultra、Pro和Nano,分别针对不同的任务复杂度。Gemini在AI基准测试中表现出色,针对各种设备进行了优化,并已经过安全和偏见测试,遵循负责任的AI实践。它将集成到Google产品中,并通过Google AI Studio和Google Cloud Vertex AI提供。
|