开云体育而好多企业为模子自界说了极长的指示词-开云「中国」kaiyun体育网址-登录入口
发布日期：2026-03-22 06:42 点击次数：122
IT 之家 1 月 17 日音问，议论公司 Snowflake 公布了一款名为" SwiftKV "的 AI 模子调校技巧，并在 Hugging Face 开源三款期骗" SwiftKV "技巧进行调校的 Llama 3.1 AI 模子（点此走访）。
IT 之家获悉，SwiftKV 技巧的中枢在于优化模子指示词措置进程。议论东谈主员指出，时时情况下大模子最为破钞缱绻资源的身手在于措置用户为模子输入的指示词，而好多企业为模子自界说了极长的指示词，据称平均情况"粗心是输出身成实质的 10 倍"。
据 Snowflake 先容，这一" SwiftKV "模子调校技巧成心为相应预制的指示词措置进行优化，堪称错杂了传统的键值（Key-Value，KV）缓存压缩技巧，还在模子推理进程中引入模子重组与常识保存自我蒸馏设施，从而有用提高模子费解量、贬低了蔓延和运算资本，堪称不错匡助 AI 模子显赫贬低推理时辰，不错贬低模子 50% 蔓延时辰。
执行成果标明，在期骗 SwiftKV 技巧优化 Llama 3.1 的 80 亿和 700 亿参数模子后，相应模子的举座费解量可提高两倍，同期相应模子也在代码自动补全、文本节录等方面推崇出色。
开云体育