• 币安Binance
  • 币安注册
  • 平台快讯
  • 比特币行情
  • 区块链新闻

Nous Research 提出高效计算法 YaRN,可扩展大模型上下文窗口

2025-3-13 1:25

据品玩 9 月 5 日报道,Nous Research 联手 EleutherAI 实验室以及瑞士日内瓦大学的研究者发表论文,公布了一项名为 YaRN 的方法,可扩展大模型上下文窗口。论文显示,和传统方法相比,YaRN 需要更少的标记和训练步骤。利用这种方法,LLaMA 模型可以有效地利用和外推到比其原始预训练所允许的上下文长度更长的上下文,同时超过了过去窗口扩展的最新技术水平。据 GitHub 页面显示,使用 YaRN 进行微调的 LLaMA 2 7B/13B 上下文窗口分别可达到 64k 和 128k。

原文链接

最新发布

  • 某鲸鱼交易7次SLERF总是高买低卖,共亏损5862枚SOL
  • Block正在开发一套完整的比特币挖矿系统
  • 美SEC推迟将灰度以太坊信托转换为ETF
  • Mt.Gox近期或将释放90亿美元比特币,可能对价格构成压力
  • 已暂时封禁2000个疑似作弊用户

热点资讯

  • 区块链新闻
  • 平台快讯
  • 比特币行情

标签

币安,让金钱在全球范围内自由流动


立刻注册

关于我们

立刻注册