此帖转自 minren 在 军事天地（Military） 的帖子：谷歌最近发表的无限注意力 Infini-attention，将对AI LLM应用产生积极影响
Infini-attention 使 Transformer 能够处理更长的输入，甚至能无限长，同时限制住内存用量和计算时间。比原来内存量减少114x。
https://arxiv.org/html/2404.07143v1
https://www.techzine.eu/blogs/analytics ... attention/
（转载）谷歌最近发表的无限注意力 Infini-attention，将对AI LLM应用产生积极影响
版主： trieste， nk
版面规则
无为而治，对于有举报的辱骂和人身攻击，楼里首骂者初次封禁1天，2次1周，多次封一个月。同楼里的非升级回骂，酌情降低惩罚
无为而治，对于有举报的辱骂和人身攻击，楼里首骂者初次封禁1天，2次1周，多次封一个月。同楼里的非升级回骂，酌情降低惩罚
-
minren楼主
- 职业作家
- 帖子： 550
- 注册时间： 11月 14, 2022, 10:45 pm
- 昵称（选填）： minren