IT之家1月17日消息，研究公司Snowflak《天龙八部私服发布网》

IT之家1月17日消息，研究公司Snowflake公布了一款名为“SwiftKV”的AI模型调校技术，并在HuggingFace开源三款利用“SwiftKV”技术进行调校的Llama3.1AI模型（点此访问）。

IT之家获悉，SwiftKV技术的核心在于优化模型提词处理过程。研究人员出，通常情况下大模型为消耗计算资源的环节于处理用户为模型输入提示词，而许多企业为型自定义了极长的提示，据称平均情况“大约输出生成内容的10倍”。

据Snowflake介绍，这一“SwiftKV”模型调校技术专门为相应制的提示词处理进行优，号称突破了传统的键（Key-Value，KV）缓存压缩技术，还在模型推理过程中引入型重组与知识保存自我馏方法，从而有效提升型吞吐量、降低了延迟运算成本，号称可以帮AI模型显著缩短推理时间，可以降低模型50%推论时间。

实验结果表明，在利用SwiftKV技术优化Llama3.1的80亿和700亿参数模型后，相应模型的整体吞吐可提升两倍，同时相应型也在代码自动补全、本摘要等方面表现出色

　 IT之家1月17日消息，研究公司Snowflak（ 2025-05-13 15:30:28版）

分享让更多人看到