三元量化,就是每个网络参数只用-1, 0, 和1三个数来表示。每个参数只占1.58比特。效果一样好,速度更快。
https://arxiv.org/abs/2402.17764
这样以前因为VRAM太小不能跑的大模型,现在可以在便宜机器上跑了。
三元量化有望大幅度提高大模型的可用性
版主: hci
-
- 论坛精英
- 帖子: 5450
- 注册时间: 7月 29, 2022, 9:12 am
- 昵称(选填): 三民主义
#2 Re: 三元量化有望大幅度提高大模型的可用性
我知道你说的这个,理论上e进制效率最高,而3显然比2更接近e
但是三进制计算机不是苏修早就不做了吗?
但是三进制计算机不是苏修早就不做了吗?