像物理学家一样剪枝大模型：将模块移除转化为伊辛优化问题

Multiverse Computing 研究团队于 2026 年 9 月 21 日在 Hugging Face Blog 发布研究，将大语言模型的网络层（模块）剪枝问题转化为统计物理学中的伊辛自旋玻璃约束二值优化问题。

• 现有模型层剪枝方法多采用平均场假设（将各层重要性视为相互独立）或仅移除连续层，忽略了不同模块移除决策之间的强耦合与非线性相互作用。
• 该方案将 Transformer 各层的保留或移除映射为自旋变量，基于二阶泰勒展开构建能量函数，作为剪枝后基准表现的低成本代理评估指标，无需对海量组合逐一进行基准测试。
• 最优层配置交由经典与量子启发式优化器求解；在 Llama-3.3-70B-Instruct 的 50% 深度剪枝测试中，该方法在 MMLU 基准上的表现比现有同类模块移除方法高出近 23 个百分点。
• 影响/看点：该研究为高层数大模型的结构化压缩提供了基于物理优化算法的系统性解法；其推广价值取决于模型深度与层间耦合强度的匹配度，以及能量代理函数在更广泛下游任务中的泛化一致性。
• 资料依据：
• Hugging Face Blog（2026-09-21）：https://huggingface.co/blog/MultiverseComputingCAI/pruning-llms-like-a-physicist-block-removal-as-an

本内容由 AI 生成，仅供参考，请注意甄别