幻方量化旗下大模型厂商启用硬盘缓存技术 大模型价格再降一个数量级 |
|
作者:佚名 文章来源:本站原创 点击数: 更新时间:2024/8/5 2:22:23 | 【字体:小 大】 |
贵州信息港游戏大厅【幻方量化旗下大模型厂商启用硬盘缓存技术 大模型价格再降一个数量级】私募巨头幻方量化官微宣布,其探索AGI(通用人工智能)的新组织“深度求索(DeepSeek)”启用上下文硬盘缓存技术,把预计未来会重复使用的内容,缓存在分布式的硬盘阵列中。在大模型API的使用场景中,如果输入存在重复,则重复的部分只需要从缓存读取,无需计算。
私募巨头幻方量化官微宣布,其探索AGI(通用人工智能)的新组织“深度求索(DeepSeek)”启用上下文硬盘缓存技术,把预计未来会重复使用的内容,缓存在分布式的硬盘阵列中。在大模型API的使用场景中,如果输入存在重复,则重复的部分只需要从缓存读取,无需计算。缓存命中的部分,DeepSeek费用为0.1元每百万tokens。
|
|