大连文具店自ChatGPT引爆全球AI浪潮以来，AI圈子已经迅速走过了造出了通用大模型的第一道关卡，如今最关键的问题在于——如何让大模型高效地在实际应用场景中落地？

　　百川智能的最新实践是：用大模型+增强技术，可以大大提升企业应用大模型的效率。

　　现在，全球大模型领域都在“开卷”长文本，这是目前大模型能否落地更多场景的关键一步。10月，百川就发布发布最新的长窗口模型Baichuan2-192k，意味着能够处理约35万个汉字，是OpenAI旗下GPT-4的14倍，“长文本专家”Anthropic旗下Claude2大模型的4.4倍。

　　目前，百川智能已经升级了官网模型。企业用户可以在API中上传公司的PDF、Word等多种文本上传以及URL网址，即可体验搜索增强和长窗口加持后的Baichuan2大模型。

　　百川智能认为，大模型是新时代的计算机，就如同中央处理器一样；而上下文窗口可以看做计算机的内存，存储了当下正在处理的文本。互联网实时信息与企业完整知识库，则共同构成大模型时代的硬盘。

　　大模型成为AI时代的基础设施底座，已成为行业不少人的共识。不过，大模型的技术探索仍在早期，尽管模型参数变大，但还有许多问题尚待解决——“胡说八道”的幻觉问题，以及“记不住上一句问了什么”的对话窗口问题等等，都极大限制了大模型能够发挥出的效能。

　　但是，基于大模型+搜索增强这一路线之后，大模型的可用性可以有效提升——想要让大模型记得上一回合讲了什么，不需要通过扩大参数、使用更多算力来重读文本。“长窗口本身越大，它的性能会越低。因此如何用更好的搜索降低长窗口的负担，这个也是长窗口搜索要做好的工作。”王小川表示。

　　现在，哪怕基于参数没那么大的模型，模型单次获取的文本量级大大提高，并且速度也能大大提升。

　　Baichuan-192k API效果到底如何？百川智能展示了长文本领域的经典测试“大海捞针”的结果：

　　“大海捞针”测试（Needle in the Heystack）是由海外知名AI创业者兼开发者Greg Kamradt设计的，业内公认最权威的大模型长文本准确度测试方法。

　　简单而言，这一测试是将一段信息放在一段长文本中的任意位置，检测大模型的回答准确率如何。

　　目前，对于192k token以内的请求，百川智能可以实现100%回答精度。“我们的长窗口能够做到全绿，相当于能完全不遗漏地把192k里的信息全部召回。”王小川表示。

　　并且，结合搜索系统，Baichuan-2能够获取的原本文本规模提升了两个数量级，达到5000万tokens，相当于35万汉字的规模。

　　百川智能分别测评了纯向量检索和稀疏检索+向量检索的检索的效果。测试结果显示，稀疏检索+向量检索的方式可以实现95%的回答精度。在文本总量提升大概250倍的情况下，其召回精度可达95%。

　　大海(HayStack)：博金大模型挑战赛-金融数据集中的80份长金融文档。 针（Needle）：2023 年 12 月 16 日，在极客公园创新大会 2024 的现场，王小川进一步分享了大模型的新思考。在王小川看来，大模型带来的新的开发范式下，产品经理的出发点，应该从思考产品市场匹配（PMF），到思考技术与产品的匹配怎么做，即 TPF（Technology Product Fit，技术产品匹配）。 查询问题：王小川认为大模型时代下，产品经理的出发点是什么？

　　总而言之，这次的发布相当于让大模型的运行速度和精度都再进一步。大模型即使再加长窗口，也能做到数据更新、更快、更准、更全的召回，还能够远远比做行业模型的成本要低。

　　除了新的API系列外，本次发布中，百川也发布了另一项功能：百川搜索增强知识库。使用过程也很简单：企业从私有化部署到云端把自己的知识上传到其中，即可生成一个一个外挂的系统，跟Baichuan2系统对接——相当于每个企业可以定制自己的硬盘，做到即插即用。

　　API和增强知识库的推出，最直观的落地效果是，模型比原先长窗口处理速度更快，成本更低。

　　如今的Baichuan-2能够拓展到大量To B场景当中，例如金融、政务、司法、教育等行业的智能客服、知识问答、合规风控、营销顾问等场景。

　　在发布会现场，百川也展示了金融行业的知识库搜索场景。某银行的知识库总量有6T，共12905个文档，Baichuan2能够海量的知识库可以查找找到文档里的内容。将36万字的文档通过API输入到模型中，就能精确找到答案。

　　可以说，大模型+搜索增强的方法，为以后大模型在行业落地提供了一条务实的路径。

　　企业知识库是现在大模型应用的主流场景。在以前，企业想要建一个企业知识库，需要通过预训练或者微调训练大模型，也需要比较高素质的AI人才。当底层的大模型数据每更新一次，都要重新训练或微调，成本也较为昂贵，且可控性和稳定性也很容易下降。

　　另外一点是，构建大模型知识库的主流方法是向量检索，但向量数据库应用成本也相对高昂，而向量模型的效果过于依赖训练数据的覆盖。在训练数据未覆盖的领域泛化能力会有明显折扣。用户Prompt和知识库中文档长度的差距，也会给向量检索带来了很大挑战。

　　针对这些问题，在推出大模型+搜索增强的过程中，百川智能也解决了一些技术难题，比如在通用RAG（检索增强生成）的技术基础上首创了Self-Critique大模型自省技术——以让大模型在输出答案之前“再自检”，给用户筛选出最优质的答案。

　　最终结果是，将搜索增强知识库和超长上下文窗口结合后，模型“接上外挂”，就可以连接全部企业知识库以及全网信息。可以替代绝大部分的企业个性化微调，解决99%企业知识库的定制化需求——企业要做定制化，成本可以大大降低。

　　王小川坦承，目前大模型在行业化中落地，客制化（Customized）是无法避免的，但可以通过技术的迭代，不断降低给客户交付的能力。“我们避免项目化，用产品化取代项目化。”他解释。

　　随着新模型和API系列发布，目前百川智能也正在快速推进商业化落地。百川智能透露，目前多个行业的头部企业已与百川智能达成合作。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　财联社12月24日电，中国地震台网正式测定：12月24日19时51分在新疆克孜勒苏州阿克陶县发生3.3级地震，震源深度142千米。

　　德阳警方悬赏通缉嫌疑人李小龙逃进绵阳山里，警民正围山搜捕 邻居称其杀害前妻潜逃

　　华大集团CEO尹烨：我们是历史上寿命最长一代人，也是技术上接近了永生的第一代人

　　卢顿镇俱乐部对阵纽卡斯尔联队的比赛结果：主队在洛克耶的精神激励下取得震惊性胜利