11月21日,英伟达研究团队发表的论文指出,把整本小说一次塞进模型的超大上下文窗口在多数场景属于过度设计,而且昂贵,周期性摘要配合定向检索的效果与之相当。研究称,模型上下文从2023年3月GPT-4的8192个Token扩张到如今约100万Token,接近120倍,足以容纳《战争与和平》。团队认为,持续扩大窗口并非提升长文档任务表现的唯一路径。
来源:全球资讯与公开媒体报道
全球 AI 动态
英伟达研究团队11月21日发表的论文认为,动辄吞下整本小说的超大上下文窗口多为过度设计,周期性摘要加定向检索效果相当且更省成本。
11月21日,英伟达研究团队发表的论文指出,把整本小说一次塞进模型的超大上下文窗口在多数场景属于过度设计,而且昂贵,周期性摘要配合定向检索的效果与之相当。研究称,模型上下文从2023年3月GPT-4的8192个Token扩张到如今约100万Token,接近120倍,足以容纳《战争与和平》。团队认为,持续扩大窗口并非提升长文档任务表现的唯一路径。
来源:全球资讯与公开媒体报道