Scaling Law 并非态状大模子才调的惟一视角！开云体育

清华 NLP 实验室刘知远素质团队，最新建议大模子的密度定律（densing law），抒发体式让东说念主思到芯片范围的摩尔定律：

模子才调密度随时期呈指数级增长，2023 年以来才调密度约每 3.3 个月（约 100 天）翻一倍。

笔据密度定律，磋商团队还得出以下伏击实际—— AI 时期的三大中枢引擎——电力、算力与智商，王人相似顺从密度快速增长趋势。

为了发现这一论断，磋商团队引入了一项筹画大模子性价比的新主见——才调密度（capability density）。

团队通过确立参考模子的花样，将"才调密度"界说为了"灵验参数目"与骨子参数目的比值。

给定地方模子后，其"灵验参数目"被界说为收场与地方模子一样的服从，参考模子需要的最少参数目。

论文第一作家肖朝军暗意，笔据拟合弧线，到了来岁年底，唯独 8B 参数就能收场和 GPT-4 一样的服从。

论文地址：https://arxiv.org/abs/2412.04315开云体育

大模子"才调密度"三个月翻一番

大模子圭臬定律（Scaling Law）和密度定律（Densing Law），王人是大模子归并性的轨则发现。

它们鉴识在不同的维度，对大模子进行科学化的推演。

大模子圭臬定律是一种态状大模子跟着范围的变化而发生的轨则性变化的数学抒发，证据为大模子的 Loss 与模子参数范围、进修数据范围之间的幂律关联。

圭臬定律除外，清华磋商团队发现，大模子还有另一种度量与优化的空间，才调密度（Capability Density），它为评估不同范围 LLM 的进修质料提供了新的挽回度量框架。

清华磋商团队建议的"才调密度"（Capability Density），界说为给定 LLM 的灵验参数大小与骨子参数大小的比率。

灵验参数大小指的是达到与地方模子同等性能所需的参考模子的参数数目。

清华磋商团队很是引入了参考模子（Reference Model）的倡导，通过拟合参考模子在不同参数范围下的性能证据，建造起参数目与性能之间的映射关联。

具体来说，若一个地方模子 M 的参数目为 NM ，其不才游任务上的性能分数为 SM，磋商东说念主员司帐算出参考模子要达到疏通性能所需的参数目 N ( SM ) ，即"灵验参数目"。

地方模子 M 的密度就界说为这个"灵验参数目"与其骨子参数目的比值：

ρ ( M ) = N ( SM ) /NM。

比如一个 3B 的模子能达到 6B 参考模子的性能，那么这个 3B 模子的才调密度即是 2（6B/3B）。

为了准确估量模子性能，磋商团队领受了两步估量法。

第一步是亏本（Loss）估量，通过一系列不同范围的参考模子来拟合参数目与话语模子 Loss 之间的关联；

第二步是性能估量，接头到显现才调的存在，磋商东说念主员蚁集开源模子来算计它们的损成仇性能，最终建造起完满的映射关联。

通过磋商分析连年来 29 个被等闲使用的开源大模子，清华磋商团队发现，LLMs 的最大才调密度随时期呈指数增长趋势，不错用公式ln ( ρ max ) = At + B来态状 .

其中 ρ max 是时期 t 时 LLMs 的最大才调密度。

密度定律标明，纯粹每过 3.3 个月（100 天），就能用参数目减半的模子达到现时最先进模子的性能水平。

ChatGPT 发布后，才调密度增长更快了

基于密度法例，清华磋商团队建议了多个伏击实际。

领先，模子推理支出随时期指数级下跌。

2022 年 12 月的 GPT-3.5 模子每百万 Token 的推理资本为 20 好意思元，而 2024 年 8 月的 Gemini-1.5-Flash 模子仅为 0.075 好意思元，资本收敛了 266 倍，约 2.5 个月下跌一倍。

与此同期，大模子推理算法持续赢得新的时间冲破——模子量化、投契采样、显存优化。

其次，磋商还发现，自 ChatGPT 发布以来，大模子才调密度正在加快增强。

以 MMLU 为评测基准测量的才调密度变化情况，ChatGPT 发布前按照每 4.8 倍增，发布后按照每 3.2 月倍增，密度增强速率加多 50%。

这一表象背后，更高效模子引起了学术界和产业的等闲矜恤，降生了更多高质料开源模子。

再次，芯片电路密度（摩尔定律）和模子才调密度（密度定律）捏续增强，两条弧线交织揭示端侧智能稠密后劲。

磋商炫耀，在摩尔定律的作用下，疏通价钱芯片的算计才调每 2.1 年翻倍，而密度法例标明模子的灵验参数范围每 3.3 个月翻倍。

两条弧线的交织，意味着主流结尾如 PC、手机将能开动更高才调密度的模子，鼓励端侧智能在耗尽商场普及。

此外，团队指出，无法仅依靠模子压缩算法增强模子才调密度。

也即是说，现存的模子压缩时间（如剪枝和蒸馏）偶而能提高模子密度。

实验标明，大大批压缩模子的密度低于原始模子，模子压缩算法虽不错从简小参数模子构建支出。

然而要是后进修不充分，小参数模子才调密度非但不会增长，反而会有显贵下跌。

终末，磋商团队指出，模子高性价比灵验期持续镌汰。

笔据圭臬定律，更大批据 + 更多参数收场才调增强，进修资本会急剧飞腾；

而才调密度定律，跟着才调密度加快增强，每隔数月会出现愈加高效的模子。

这意味着模子高性价比的灵验使用期镌汰，盈利窗口狭小。

举例，2024 年 6 月发布的 Google Gemma-2-9B 模子，其进修资本约 185 万东说念主民币；

但仅两个月后，它的性能就被参数目减半的 MiniCPM-3-4B 高出。

以 API 盈利花样估算，2 个月内需要 17 亿次用户走访，才梗概收回进修资本！

圭臬定律下，LLM 范围至上。而在密度定律下，LLM 正插足一个全新的发展阶段。

在清华刘知远浑厚最新讲述中，AI 时期的三大中枢引擎——电力、算力与智商，密度王人在快速增长：

电板能量密度在畴前 20 年中增长了 4 倍，其倍增周期约为 10 年；

摩尔定律则揭示，芯片的晶体管密度每 18 个月翻倍；

而 AI 模子才调密度每 100 天翻倍的速率更是惊东说念主。

尤其是模子才调密度的提高也意味着用更少的资源收场更强的才调，这不仅收敛了 AI 发展对动力和算力的需求，也为 AI 时间的可捏续发展提供了无尽可能。同期也揭示了端侧智能的稠密后劲。

在这一趋势下，AI 算计从中心端到边际端的分散式特质协同高效发展，将收场" AI 无处不在"的愿景。

作家瞻望，跟着民众 AI 算计云表数据中心、边际算计节点的延迟，加上模子才调密度增长带来的服从提高，咱们将看到更多土产货化的 AI 模子显现，云表和边际端各司其职，可开动 LLM 的结余数目和种类大幅增长，" AI 无处不在"的改日正在到来。

论文地址：

https://arxiv.org/abs/2412.04315