把大模型放在手机里跑的愿望就快要实现清华、

　　此因，向量以储积因为量化导致的精度耗费作家引入两个 FP16 样子的值。原始权重矩阵的高秩这种安排不光维系了，供了须要的浮点精度况且通过值向量提，操练和学问迁徙有帮于模子的。线性层的机闭比拟如下图1bit 线 高精度：

　　操练强基线 LLM-QAT 和最新的 2bit 权重量化强基线 OmniQuant 举行了对比OneBit 与 FP16 Transformer、经典的操练后量化强基线 GPTQ、量化感知。表此，it 权重量化的商酌因为目前还没有 1b，框架行使了 1bit 权重量化作家只对自身的 OneBit ，2bit 量化修设而对其他举措采纳 ，「以弱胜强」属于类型的 。

　　型更好地初始化量化后的模子为了行使充沛操练好的原模，的学问迁徙成就进而煽动更好，参数矩阵瓦解举措作家提出一种新的，的矩阵瓦解（SVID）」称为 「值 - 符号独立。把符号和绝对值分裂这一矩阵瓦解举措，秩 - 1 近似并把绝对值举行，的体例可能暗示成其迫近原矩阵参数：

　　 比拟于其他举措正在 1bit 量化时的上风表 1 和表 2 出现出了 OneBit。证集的疑心度而言就量化模子正在验，P16 模子最为切近OneBit 与 F。hot 确实度而言就 Zero-s，型的一面数据集表除 OPT 模，型险些获得了最佳的机能OneBit 量化模。两种评议目标上表现较大的耗费其余的 2bit 量化举措正在。

　　表此， 量化模子正在估计上的上风作家还指出了 1bit。纯二进造的因为参数是， 1bit 内暗示可能用 0/1 正在，节俭豪爽的空间这毫无疑义地。相乘可能被酿成高效的位运算高精度模子中矩阵乘法的元素，就可能告终矩阵乘积只需位赋值和加法，操纵远景特殊有。

　　在即，arXiv 上的论文为冲破这一波折带来了心愿一篇由清华大学、哈尔滨工业大学团结公布正在 ，惹起了不幼的眷注正在国表里学术圈。ggingface 的热门论文这篇论文也正在一周前登上 hu，荐师 AK 推举并被出名论文推。bit 这一量化级别商酌团队直接越过 2，bit 量化的考试斗胆地举行了 1，商酌中尚属初度这正在模子量化的。

　　火爆出圈从此自从大模子，型的意向从未消减人们对压缩大模。由于这是，面表示出卓绝的才力固然大模子正在良多方，大晋升了它的行使门槛但慷慨的的安放价格极。于空间占用和估计量这种价格重要来自。型的参数转化为低位宽的暗示「模子量化」 通过把大模，空间占用进而节俭。前目，的境况下把已有模子压缩至 4bit主流举措可能正在险些不耗费模子机能。而然，化像一堵不成超出的高墙低于 3bit 的量，员望而却步让商酌人。

　　FP16 精度模子机闭左侧的 (a) 是 ，neBit 框架的线性层右侧的 (b) 是 O。见可，it 框架中正在 OneB， 维系 FP16 样子只要值向量 g 和 h，部由 ±1 构成而权重矩阵则全。顾了精度和秩云云的机闭兼，的研习进程很蓄志义对包管太平且高质料。

　　ng 层和 Lm_head 层除表）转化为低精度暗示杀青空间压缩模子量化重要通过把模子的 nn.Linear 层（Embeddi。作 [1此前工,（RTN）举措把高精度浮点数近似映照到相近的整数网格2] 的本原是应用 Round-To-Nearest。被暗示这可能成

　　分别界限 LLaMA 模子的压缩比表 3 给出的是 OneBit 对。看出可能，的压缩比均凌驾 90%OneBit 对模子，是亘古未有的这一压缩才力。注视的是个中值得，型增大跟着模， 的压缩比越高OneBit，这种不参预量化的参数占比越来越幼这是因为 Embedding 层。提到前文，越大模子，来的机能增益越大OneBit 带，t 正在更大模子上的上风这显示出 OneBi。

　　指出作家，途径大概是量化感知操练 QAT处置大模子超低位宽量化的有用。t 模子机闭下正在 OneBi，未量化模子中研习通过学问蒸馏从，化模子的迁徙杀青才力向量。体地具， 和 hidden state 的指点学生模子重要采纳教员模子 logits。

　　会导致必定的机能耗费固然超低比特量化大概，8 所示但如图 ，间到达了优异的均衡它正在巨细和机能之。以为作家，巨细极端紧要压缩模子的，备上安放模子时极度是正在搬动设。

　　竟奈何？作家正在论文中给了一个估计OneBit 对模子的压缩幅度究。096 的线性层举行压缩假设对一个 4096*4，96*4096 的 1bit 矩阵那么 OneBit 必要一个 40，的 16bit 值向量和两个 4096*1 。位数为 16这内里总的,089,882，数为 16总的参数个,857,084，1.0073 个 bit均匀每个参数占用仅仅约 。幅度是空前的云云的压缩，SVID 初始化量化模可能说是线. 基于 型

　　意的是值得注， 正在模子越大时OneBit，往越好成就往。是说也就，界限增大跟着模子，疑心度低落上成效甚微FP16 精度模子正在，表示出更多的疑心度低重但 OneBit 却。表此，超低位宽量化或者极端有须要作家还指出量化感知操练关于。

　　通过常见的矩阵瓦解体例杀青这里的秩 - 1 近似可能清华、哈工大把大模型压缩到了1bit，和非负矩阵瓦解（NMF）比如巧妙值瓦解（SVD）。后而，过相易运算步骤来和 1bit 模子框架相成家作家正在数学上给出这种 SVID 举措可能通，参数初始化进而杀青。且并，程中确实起到了近似原矩阵的效率论文还说明了符号矩阵正在瓦解过。

　　LMs 的权重矩阵压缩到 1bitOneBit 的终极方针是将 L。值只可用 1bit 暗示线bit 请求每个权重，大概的状况即只要两种。以为作家，的参数中正在大模子，都必需被斟酌进来有两个紧要成分，度和参数矩阵的高秩那便是浮点数的高精。

　　不太平、收敛困穷的题目二值收集广泛面对操练。的高精度值向量得益于作家引入，向估计均表示的极端太平模子操练的前向估计和后。出 1bit 模子机闭BitNet 更早地提，的高精度模子中迁徙才力但该机闭很难从充沛操练。9 所示如图 ，试 BitNet 的迁徙研习才力作家考试了多种分别的研习率来测，下其收敛难度较大发觉正在教员指点，Bit 的太平操练价钱也正在侧面说明了 One。

　　的终末论文，宽另日大概得商酌宗旨作家还倡议了超低位。如例，举措、更少的操练价格寻找更优的参数初始化，激活值的量化或进一步斟酌。

　　 SVID 的参数初始化举措和基于量化感知学问蒸馏的学问迁徙OneBit 的举措框架包含全新的 1bit 层机闭、基于。

　　在即，文：把大模子压缩到 1.0073 个比特时清华大学和哈尔滨工业大学共同宣告了一篇论， 83% 的机能已经能使其维系约！

　　3bit 以下）存正在吃紧的精度耗费题目然而基于 RTN 的举措正在极低位宽时（，力耗费极端吃紧量化后的模子能。别是特，1bit 暗示时量化后参数以 ，和零点 z 会遗失实践道理RTN 中的缩放系数 s 。法正在 1bit 量化时险些失效这导致基于 RTN 的量化方，留原模子的机能难以有用地保。

　　采选上正在模子，LaMA-1/2 分别系列的模子来说明 OneBit 的有用性作家也采选了从 1.3B 到 13B 分别巨细把大模型放在手机里跑的愿望就快要实现、OPT 和 L。目标上正在评议，疑心度和常识推理的 Zero-shot 确实度作家沿用了以往模子量化的两大评议维度：验证集的。

　　表此，模子大概采用什么机闭举行过寻找此前的商酌中也曾对 1bit 。gn (・) 函数并转为 + 1/-1 来杀青 1bit 暗示几个月前的职业 BitNet [3] 通过让模子参数通过 Si。重、操练进程不太平的题目但这一举措存正在机能耗费厉，实践操纵束缚了其。

　　指出作家太平洋在线xg111至 1bit 后当模子参数压缩，元素乘」将不复存正在矩阵乘法中的 「，的 「位赋值」操作取而代之的是更敏捷，升估计服从这将大大提。紧要道理正在于这一商酌的，bit 量化的界限它不仅逾越了 2，机上安放大模子成为大概也使正在 PC 和智高手。

　　几类幼模子的空间占用和机能耗费图 4 - 图 6 还比拟了，ythia-1.0B 和 TinyLLaMA-1.1B它们是通过分别的途径取得的：包含两个充沛操练的模子 P，k Llama 和 OneBit-7B以及通过低秩瓦解取得的 LowRan。看出可能，最幼的均匀位宽、占用最幼的空间即使 OneBit-7B 有，然优于不逊于其他模子它正在常识推理才力上仍。时指出作家同，面对较吃紧的学问遗忘模子正在社会科学周围。来说总的，出现出了本来践操纵价钱OneBit-7B 。 所出现的正如图 7，MA-7B 模子经历指令微调后OneBit 量化后的 LLa，的文本天生才力出现出了流利。

　　 「OneBit」作家提出的举措称作，：把预操练大模子压缩到线bit特殊贴切地描述了这一职业的性质。1bit 暗示的新举措该论文提出了模子参数 ，数的初始化举措以及量化模子参，操练模子的才力迁徙至 1bit 量化模子并通过量化感知操练（QAT）把高精度预。评释试验，度压缩模子参数的同时这一举措可能正在极大幅，型起码 83% 的机能包管 LLaMA 模。