恶魔亲亲别伤我智东西4月12日报道，4月9日，谷歌面向180多个国家/地区推出公开预览版的Gemini 1.5 Pro，它具有首个原生音频（语音）理解功能和新的文件API，可轻松处理文件。

　　不到两个月前，谷歌在Google AI Studio中推出Gemini 1.5 Pro模型，供开发人员试用。该模型在长语境理解方面取得突破，能持续运行多达100万个tokens，相当于可一次处理大量的信息——包括1小时的视频、11小时的音频、超过3万行代码或超过70万字的代码库。现在这些能力都将对外开放，同时谷歌还推出系统指令和JSON模式等新功能，助开发人员加强模型输出控制。

　　同日，谷歌宣布Gemma开源模型系列增员，推出用于代码生成等任务的CodeGemma，以及用于研究实验的效率优化架构RecurrentGemma。这是自今年2月谷歌推出Gemma之后该系列的首次更新。

　　Gemma家族迎来了两个新成员，均为研究人员提高效率而设计的模型。一个是用于为开发人员和企业提供代码生成服务的CodeGemma，它可以帮助开发人员完成代码、生成代码片段，并且还能提供与代码相关的交流和支持，这些功能可以应用于开发过程中的各种场景和任务。

　　另一个是用于从事实验研究的效率优化架构RecurrentGemma，这意味着在处理数据时，这个模型可以更有效地利用计算资源，提高处理速度和效率。此外，谷歌还更新了Gemma自身的升级和使用协议。

　　基于开源大模型Gemma，CodeGemma为社区带来了更高性能且轻量化的编码功能。CodeGemma模型有专门用于代码补全和代码生成任务的7B预训练模型变体、用于代码聊天和指令跟踪的7B指令微调变体模型，以及适用于本地电脑的用于快速代码补全的2B预训练模型变体。

　　（1）智能代码的完成和生成：无论本地工作还是利用云资源，CodeGemma都能生成代码行、函数，甚至整个代码块。

　　（2）更高的准确性：CodeGemma模型从网络文档、数学和代码的5000亿个英语数据为基础进行训练，生成的代码在语法和在语义上更为准确，有助于减少调试时间。

　　（3）精通多种语言：能够适用于Python、JavaScript、Java和其他流行语言。

　　（4）简化工作流程：将CodeGemma模型集成到您的开发环境中，从而减少模板的编写，更快地专注于重要的代码。

　　▲CodeGemma与其他类似模型在单行和多行代码完成任务方面的性能比较（来源：谷歌）

　　2.RecurrentGemma：为研究人员提供更高效、更快速的批量推理

　　RecurrentGemma是一种新型技术模型，它通过递归神经网络和局部注意力来提高内存效率。

　　在实现与Gemma 2B模型类似的基准分数性能的同时，RecurrentGemma的独特架构带来了多项优势：

　　（1）降低内存使用率：较低的内存需求允许在内存有限的设备（如单GPU或CPU）上生成较长的样本。

　　（2）更高的生产能力：由于降低了内存使用率，RecurrentGemma可以通过更高的批量大小执行推理，从而每秒生成更多的文本（尤其是在生成长序列时）。

　　（3）研究创新：RecurrentGemma是一种新型的模型，它虽不是基于Transformer架构，但在性能上表现出色，凸显了深度学习领域的研究正在不断取得进步。

　　两个新的变体模型继承了Gemma的基础结构和特性，并且在此基础上进一步增加了更多能力。具体能力为：

　　（1）开放可用性：与原始的Gemma模型一样，新模型变体也具有开放的可用性，这鼓励创新和合作，任何人都可以使用它，并且具有灵活的使用条款。

　　（2）高性能和高效能：新模型变体具有高性能和高效能，通过针对特定领域的代码专业知识和优化设计，使得模型的完成和生成速度非常快。

　　（3）负责任的设计：这些模型遵循负责任的AI原则，以确保模型能够提供安全可靠的结果。

　　（2）探索集成选项：查找用于将模型集成到您喜爱的工具和平台的指南和资源。

　　（3）进行实验和创新：将Gemma模型变体添加到您的下一个项目中，并探索其能力。

　　这些指导旨在帮助用户开始使用Gemma模型，并将其整合到他们的工作流程中，以实现更高效的工作和更好的成果。

　　本月9日，谷歌将在180多个国家和地区通过Gemini API公开预览版提供Gemini 1.5 Pro，并首次提供本地音频理解功能和新的文件API以方便处理文件。此外，谷歌还将推出系统说明和JSON模式等新功能，让开发人员能够更好地控制模型输出。最后，谷歌将发布下一代文本嵌入模型，使其性能优于同类模型。

　　2.视频理解：Gemini 1.5 Pro现在可以同时处理视频中的每一帧图像和音频内容，并从中提取有用的信息。未来，谷歌还计划为此添加API支持，以便用户可以在自己的应用程序中利用这一功能。

　　1.系统说明：用户现在可以通过系统说明来引导模型的响应，这一功能在Google AI Studio和Gemini API中都可用。用户可以为其特定的使用案例定义角色、格式、目标和规则，以指导模型的行为。

　　2.JSON模式：用户可以指示模型仅输出JSON对象，这种模式可以从文本或图像中提取结构化数据。该模式目前仅支持通过cURL实现，未来即将推出Python SDK。

　　3.函数调用的改进：用户现在可以选择模式来限制模型的输出，从而提高可靠性。用户可以在与模型交互时选择文本、函数调用或函数本身。

　　▲在 MTEB 基准测试中，使用256维输出的”Text-embedding-004″（又名Gecko）优于所有较大的768维输出模型（来源：谷歌）

　　谷歌实验室称这些是Gemini API 和Google AI Studio未来几周内的第一批改进，未来还将持续优化更多。

　　无论是开源的大语言模型Gemma还是多模态大模型Gemini的改进，于同类模型而言都有着领先的功能特征。不断优化开源大模型彰显着谷歌在AI领域的技术实力，同时也为整个行业提供了重要的技术资源和参考；闭源大模型成员的增添，意味着对开发环境进行了大幅优化，以便考虑到技术研究人员的需求。

　　谷歌强调大模型的实用性以及输出的准确性，它还期望一个能共同塑造由人工智能驱动的内容创作和理解的未来，为推动人类AI技术的发展和应用做出了一份努力。