DeepSeek 推出 NSA,用于超快速的长上下文训练和推理
久币网 消息,2 月 18 日,据金十报道,DeepSeek推出NSA。DeepSeek称,NSA是一种与硬件一致且本机可训练的稀疏注意力机制,用于超快速的长上下文训练和推理。通过针对现代硬件的优化设计,NSA加快了推理速度,同时降低了预训练成本,而不会影响性能。在一般基准测试、长上下文任务和基于指令的推理上,它的表现与完全注意力模型相当甚至更好。
本文由网站用户发布,不代表炒久币网立场,转载联系作者并注明出处:https://www.chaobtc.com/kx/13198.html


