古镇奇谭七夜【新智元导读】霸榜的Baichuan-7B发布后才短短26天,百川又发布了Baichuan-13B,百亿参数已可媲美千亿,自此,中国开源大模型开始赶超美国开源领域,正式进入商用新纪元。
目前,以GPT-4为代表的超大参数量闭源模型和100亿-200亿参数量开源模型,是大模型生态链中两个最佳实践。
GPT-4固然能力强大,但闭源会要求企业访问公网以及难以定制化适配,使用场景受限。而开源能够使企业轻松地借助专有数据进行微调和私有化部署,进而促进百行千业的良性发展生态。
Baichuan-13B中英文大模型集高性能、完全开源、免费可商用等诸多优势于一身,是目前所有33B以下尺寸开源模型中效果最好的可商用大语言模型。
在国外已建立起闭源及开源大模型完整生态的背景下,弥补了国内高品质开源商业模型的不足,对助力中国大模型产业发展和技术进步都具有重要意义。
这是百川智能发布的第二款通用大语言模型,而在前不久的6月15日,百川智能就已经推出了首款70亿参数量的中英文语言模型Baichuan-7B,并一举拿下多个世界权威Benchmark榜单同量级测试榜首。
预训练模型「底座」因其灵活的可定制性,适合具有一定开发能力的开发者和企业,而普通用户则更关注具有对话功能的对齐模型。
在语言模型中,上下文窗口长度对于理解和生成与特定上下文相关的文本至关重要。
Baichuan-13B上下文窗口长度为4096,不同于Baichuan-7B的RoPE编码方式,Baichuan-13B使用了ALiBi位置编码技术,能够处理长上下文窗口,甚至可以推断超出训练期间读取数据的上下文长度,从而能够更好的捕捉文本中上下文的相关性,做出更准确的预测或生成。
作为一款中英文双语大模型,Baichuan-13B采用了相对平衡的中英文语料配比和多语言对齐语料,从而在中英两种语言上表现均很优异。
中文领域,在权威评测C-EVAL中,Baichuan-13B性能一骑绝尘,在自然科学、医学、艺术、数学等领域大幅领先LLaMA-13B、Vicuna-13B等同尺寸的大语言模型,在社会科学、人文科学等领域甚至超越了ChatGPT。
英文领域,其表现同样优秀,在英文最权威的榜单MMLU上,Baichuan-13B超过了所有同尺寸开源模型,并且在各个维度都具有显著优势。
必须要说的是,有些模型为了能在评测中取得更好的成绩,会在基座模型和对话模型上引入较多针对benchmark的优化。
此举虽然可以在榜单上获取更高的分数,但是没有本质地提升模型的基础能力,并且在下游任务中易产生回复长度短、质量低的问题,造成高分低能的现象。
众所周知,大模型的训练成本极高,在海量算力的成本压力下,OpenAI和谷歌都选择了闭源来保证自家大模型的优势地位。
但是从计算机科学与人工智能的发展历程来看,开源始终对软件技术乃至IT技术发展有着巨大的推动作用。
大模型时代,Meta率先走上了开源的道路,LLaMA基座开源之后,也因其出色的性能,迅速吸引了大量开发者。
他们在其基础上开发了各种ChatGPT开源替代品,并且以极低的训练成本屡次达到匹敌GPT-3.5的性能,极大激发了开源模型的创新活力。
凭借闭源路线以及开源路线的LLaMA,美国在大模型领域已经构建起了完整的生态。
尽管中文世界不乏优秀的开发者、出色的创新能力和广泛的应用场景,但由于缺少高性能和高定制性的开源基座模型,在大语言模型领域的相关研究和应用上仍存在较大的挑战。
中国急需优质开源可商用大模型补齐相关领域的空白,与开发者和企业共同推动中国人工智能应用的创新生态发展。
作为同级最好的开源可商用中英文预训练语言模型,Baichuan-13B-Base不仅对学术研究完全开放,所有开发者均可通过邮件向百川智能申请授权,在获得官方商用许可后即可免费商用。
并且,为了尽可能降低模型的使用门槛,百川智能同时开源了Baichuan-13B-Chat的INT8和INT4两个量化版本,在近乎无损的情况下可以很方便的将模型部署在如3090等消费级显卡上。
本次百川智能发布的Baichuan-13B中英文大语言模型,凭借百亿参数量已经展现出可以媲美千亿模型的能力,大大降低企业部署和调试的使用成本,让中国开源大模型商业化进入真正可用阶段。
Baichuan-13B的开源,实现了国内开源大模型对美国大模型开源领域的追赶,改变了此前国内在相关领域一直落后的局面。
同时,其开源模型的代码完全公开,所有人都可以随时查看,算法透明,不仅有利于研究人员深入探索和研究模型原理,并且有利于建立和深化公众对大模型的信任,可以说Baichuan-13B不仅是百川大模型之路上的又一里程碑,也是中国大模型快速迭代的重要标志。
百川智能创始人王小川表示,「Baichuan-13B是百川智能为科技强国送上的一份礼物,我们期待国内大模型行业以及垂直领域能够在此基础上开发出更多优秀产品及行业应用,让技术在真实、丰富的应用场景中快速迭代创新,我们愿与众多企业、开发者一道为国内开源社区的生态繁荣贡献自己的力量。」
中英文差异导致模型巨大的差异,在行业中的确对此有普遍的想法,但是并没有相关的证据。这反应了一部人的悲观情绪,我们更需要乐观主义精神和坚定的态度。
说中文模型不行只是一个行业猜测,在我们的7B和13B中,并没有看到这样的结果。
从百川7B开始,证明了使用中英文数据进行训练,本身并不会降低模型的能力,并且对英文能力也有提升。
- ChatGPT已经靠Code Interpreter完成惊人升级,百川大模型是否上线类似功能的计划呢?
Code Interpreter是ChatGPT的重大升级,这是OpenAI未来很重要的一个方向,我们对这个事情是高度关注的。
业内人士都认为,在国内大多数领先企业都有能力做到3.5的水平,但是有两个关键点——
2. 如何做出超级应用,大家的共识是通过开源模式百花齐放,我们做的开放,就是对生态本身的填补。
- 业内很多人认为,大模型之战的下一个战场就在应用落地上,百川大模型与清华等高校的合作,具体用例在何处?
清华使用我们的模型之后,在法律上是有长足进步的,在科研上也会有他们的探索。
毋庸置疑,百川模型会和人类价值观进行对齐,而且对齐是多个层面的,不仅在微调阶段,还在之前的预训练阶段。
如果只在微调这个阶段性对齐的话,那模型会有明显的对齐税。因此是需要有统一的这样的一个预训练到微调阶段,甚至到最后强化学习阶段的共同对齐。
总而言之,人类价值观对齐是我们必须做好的。我们认为需要多个环节都做好,并且保持一致性,这样就能降低对齐税。
腾讯云618狂欢节特惠来袭!现在购买3年轻量云服务器,配置2核2G4M,只需396元!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
2023年7月11日,百川智能正式发布了参数量130亿的通用大语言模型Baichuan-13B、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本,成为中国开源大模型领域的重要里程碑。与美国的闭源大模型相比,开源模型具有灵活的定制性和私有化部署的优势,推动了中国大模型产业的发展和技术进步。百川智能希望与企业和开发者共同推动中国人工智能应用的创新生态发展。
这是一个开源的中文LLaMA2模型,完全可商用。它使用了中英文SFT数据集,数据量达到1000万。通过以上功能,用户可以轻松地使用和定制中文的LLaMA2模型,满足各种聊天和问答任务的需求。
文章分享了Llama2是一款强大的开源大语言模型,由Meta发布免费可商用版本。Llama2经过预训练和微调,参数规模从70亿到700亿不等。Llama2的发布对于大模型领域产生了巨大影响,也为AI社区提供了一种可商用且安全的选择。
650亿参数大模型的预训练方案,发布即开源。训练速度较传统方案提升38%。其背后公司潞晨科技,近期获得数亿元A轮融资,已在成立18个月内已迅速连续完成三轮融资。
在中国对生成式模型的监管落地后第二天,在目前最强开源模型LLaMA再传出即将允许商用,和GPT4的秘方进一步被“泄露”之际,全球开发社区里最受认可的国产开源大模型ChatGLM宣布了一个重要决定:其最新单卡可运行的模型ChatGLM2-6B,开放给企业用户免费商用了。这个消息淹没在Claude2的发布,马斯克xAI的成立等新闻中,缺少讨论。最终真的凭此吸引来的生态,才是真正的护城河
就在我们还在睡梦中时,大洋彼岸的Meta干了一件大事:发布免费可商用版本Llama2。Llama2是Llama1大模型的延续,在数据质量、训练技术、能力评估、安全训练和负责任的发布方面有实质性的技术进步。承认人类评估的限制,包括大型评估提示集未覆盖所有实际应用,缺少对编码/推理的评估,只评估最后的对话轮次。
最近这段时间,Meta可谓是成为了海外互联网行业的焦点,其创始人扎克伯格一边与马斯克约架,一边仅用5天收获上亿用户的Threads成功奇袭了推特。此前本来在AI大模型战局中扮演小透明角色的Meta,突然又搞出了一件大事。这点几乎放之四海皆准。
本文将为大家介绍最新发布的GPT模型LLaMA2的新功能和更新内容。LLaMA2在原始模型基础上进行了改进,包括使用40%更大的数据集、经过强化学习和人类反馈调优的聊天变体以及可扩展到700亿参数的模型。我们期待未来基于该项目并对其进行扩展的项目,就像Alpaca之前所做的那样。
继Baichuan-7B之后,近日,王小川旗下百川智能再次发布Baichuan-13B大模型。Baichuan-13B是由百川智能继Baichuan-7B之后开发的包含130亿参数的开源可商用的大规模语言模型,在权威的中文和英文benchmark上均取得同尺寸最好的效果。本次发布包含有预训练和对齐两个版本。
Meta和微软近期联手推出了Llama2,这是Meta公司的下一代开源大型语言模型,可以免费用于研究和商业用途。微软在新闻稿中指出,Llama2旨在帮助开发者和组织构建生成式人工智能工具和体验。将Llama2模型融入到Windows系统中,有助于推动Windows成为开发人员根据客户需求构建人工智能体验的最佳场所,并释放他们使用世界级工具进行构建的能力。
核心频率不同,CPU型号不同天玑9200+和天玑 9000 都是联发科的5G旗舰级芯片,天玑9200+和天玑9000都是采用台积电4nm工艺制程。天玑9200+的CPU最高主频为3.3GHz,而天玑 9000 的CPU最高主频为3.2GHz。两款芯片都支持双模5G、WiFi 6E和蓝牙5. 2 等技术。
天玑9200+主频是3.0GHz,与骁龙 8Gen 2 相同,跑分要比骁龙 8Gen 2高一点点天玑 9200+ 处理器与天玑 9200 同架构,但所有核心频率增加,主频来到了 3.0GHz,与骁龙 8Gen 2 相同。跑分数据,天玑 9200+ 在 Geekbench v6 平台单核得分 2121 分,多核得分 5655 分。作为对比,骁龙 8Gen 2 的单核跑分成绩在大约 2000,多核成绩大约 5400。天玑9200+的安兔兔跑分大约为 136 万分,骁龙8Gen2 安兔兔跑分大约是128万分。
在 Geekbench v6 平台单核得分 2121 分,多核得分 5655 分联发科已经正式官宣,天玑9200+将于 5 月 10 日发布,这款处理器的 Geekbench v6 跑分已经出现。天玑 9200+ 处理器与天玑 9200 同架构,但所有核心频率增加,主频来到了 3.0GHz,与骁龙 8Gen 2 相同。 根据爆料的跑分数据,天玑9200+在 Geekbench v6 平台单核得分 2121 分,多核得分 5655 分。 作为对比,骁龙 8Gen 2 的单核跑分成绩在大约 2000,多核成绩大约 5400。
7天以上小米手环 8 搭载蓝牙 5.1,内置直流 3.87V 聚合物锂离子电池,型号为 M2239B1。上一代的小米手环 7 续航大约有9-15天左右。 小米手环 7 内置180mAh 电池。预计小米手环8的续航会比小米手环7续航略微提升一点。
2K+ 分辨率魅族 20 Pro 采用6.81英寸直屏,2K+ 分辨率、100% P3 广色域、120Hz LTPO 高刷、最高 1200 nit 全屏亮度、最低 2 nit 全屏亮度,同时支持防蓝光、DC 调光等功能一应俱全;魅族 20 Pro采用旗舰级性能配置,包括顶级处理器第二代骁龙 8、12GB 起步的 LPPDR5X 大内存、至高 512GB UFS4.0 极速闪存以及 36424 平方毫米的立体散热堆叠。
第二代骁龙 8,LPPDR5X+UFS4.0,2K三星E6 材质Super AMOLED屏幕魅族 20 Pro,内置第二代骁龙 8,LPPDR5X+UFS4.0,搭载了2K三星E6 材质Super AMOLED屏幕,屏幕尺寸6. 81 英寸,支持120Hz自适应屏幕刷新率和1500Hz瞬时触控采样率,峰值亮度可达1800nit,屏幕还通过了SGS抗蓝光、抗频闪护眼认证;破晓灰、曙光银、朝阳金三种配色,整机厚7. 8 毫米,重 209 克;镜头模组由 5000 万像素人像镜头、 5000 万像素广角镜头、 5000 万像素超广角镜头组成,支持全像素对焦技术搭配dTOF辅助对焦,官方称将使对焦速度提升33%。魅族20 系列的主摄均支持SMA防抖,最高8K视频录制和夜景录像功能;5000mAh电池配80W快充,支持50W无线GB三种存储组合,售价 3999 起。
后置三摄,主摄 5000万像素,屏幕分辨率2496*2224华为Mate X3有「羽砂玻璃版:羽砂白、羽砂黑、羽砂紫」、「素皮版:晨曦金、青山黛」五款配色可选;覆盖昆仑玻璃;超轻薄折叠四曲设计,机身重量仅239g,厚度仅5.3mm, IPX8级抗水。屏幕拥有2496*2224超高分辨率和426ppi 超高像素密度。同样支持最高120Hz 自适应刷新率以及1440Hz PWM 调光。影像方面:搭载5000万像素超感知主摄,1300万像素超广角镜头,1200万像素潜望式长焦镜头。并配备10通道多谱传感器和激光对焦传感器,支持100倍变焦和5倍光学变焦。续航方面:配备4800mAh 大电池,支持50W 无线W 有线W 无线反向快充。性能方面:与华为 P60系列一样搭载了骁龙8+ 处理器,配备了超冷跨轴石墨烯散热系统,导热面积提升了20%。价格:华为Mate X3:256GB:12999、512GB:13999;华为 Mate X3典藏版:1TB:15999
6. 67 英寸的OLED屏幕, 4800 万像素长焦镜头华为P60 系列在背部采用了矩阵型模组,官方称之为“凝光设计”,引入了“凝光贝母”工艺;华为P60 全系搭载了6. 67 英寸的OLED屏幕,拥有2700* 1220 刷新率,显示效果十分细腻,支持10. 7 亿色、1440Hz PWM调光。 同时支持全局色彩管理,支持莱茵专业色准双重认证;屏幕还支持LTPO动态高刷新率,支持1~120Hz自适应刷新率,还配备了昆仑玻璃面板,IP68 防尘抗水;相机方面,华为P60 Pro则进一步升级长焦镜头,配备了 4800 万像素RYYB的超聚光夜视长焦镜头,支持3. 5 倍光学变焦、OIS,拥有F2. 1 超大光圈;支持双向北斗卫星通信;5100 毫安时大电池+88W快充;首发搭载了全新的鸿蒙3.1,新增了AOD息屏显示功能。
6.67英寸的OLED屏幕,支持1~120Hz的LTPO刷新率华为P60 系列的屏幕搭载了骁龙8+ 4G处理器,6. 67 英寸的OLED屏幕,支持1~120Hz的LTPO刷新率,支持1440Hz PWM调光,拥有10. 7 亿色、全局P3 色域、HDR-P3HDR Vivid显示效果;覆盖四曲昆仑玻璃,支持IP68 防水,是全球首款德国莱茵专业色准双重认证的手机;相机方面,华为P60 支持F1.4-4. 0 十档可变光圈,搭载大光圈高透光镜群和RYYB超感光传感器,支持了华为XD Fusion Pro质感引擎;支持双向北斗卫星消息;首发搭载鸿蒙3.1,支持AOD息屏显示;价格,华为P60 的128GB版 4488 元,256GB版本是 4988 元,512GB版本是 5988 元。
天玑9000芯片,LPDDR5+UFS3.1,11.61英寸LCD屏幕,支持144Hz刷新率OPPO Pad2主要配置包括:11.61英寸7:5比例LCD显示屏,拥有2800×2200分辨率和500尼特亮度,支持144Hz五档刷新率智能调节,2048级亮度自适应智能调光并支持手写笔。OPPO Pad2基于联发科技天玑9000,辅以LPDDR5内存和UFS3.1存储,内置9510毫安时电池、67W有线万像素前置摄像头和蓝牙5.3。软件方面,ColorOS13.1支持5G通信共享。可以自动共享手机的5G通信,从而直接上网、接打电话、同步手机验证码、拍照流转和应用接力。
5G双待双通(DSDS)、WiFi 6/6E、蓝牙5.3等骁龙7+ Gen2 采用了骁龙X62 5G调制解调器,在全球范围内支持多种频段和模式的5G网络连接。它还是首款在骁龙 7 系中实现了5G双待双通(DSDS)功能,在两张SIM卡都插入时可以同时使用两个不同运营商或不同网络制式(例如SA和NSA)的5G网络服务。除此之外,它还支持WiFi 6/6E和蓝牙5. 3 等无线技术。
|