当前位置：正文

全站APP注册、手机网页版、在线登录、客户端以及发布平台优惠活动信息、招商代理加盟等一朝变化进度低于特定阈值的维度-开云(中国登录入口)Kaiyun·体育官方网站

DeepSeek-R1 背后要津——多头潜在预防力机制（MLA）全站APP注册、手机网页版、在线登录、客户端以及发布平台优惠活动信息、招商代理加盟等，当今也能简单移植到其他模子了！

而况只需原始数据的 0.3%~0.6%。

这项商议由复旦大学、华东师范大学、上海 AI Lab 等聚首忽视，复旦耕种邱锡鹏（Moss 大模子技俩崇敬东说念主）也在作家名单之列。

他们忽视了MHA2MLA这种数据高效的微调行径，使基于 MHA（多头预防力）的谎言语模子（LLMs）约略顺利调度到 MLA 架构。

以 Llama2-7B 为例，MHA2MLA 在缩短推理老本（如减少 KV 缓存大小 92.19%）的同期，能将性能亏损限制在较小范围（如 LongBench 性能仅下落 0.5%）。

具体咋回事，底下咱们接着看。

掌持 DeepSeek 中枢诀窍

多头预防力 MHA（Multi-Head Attention）是 Transformer 架构中的一个中枢组件，允许模子同期温和输入的不同部分，每个预防力头王人独当场学习输入序列中的不同特征。

然则，跟着序列长度的增长，键值（Key-Value，KV）缓存的大小也会线性加多，这给模子带来了显赫的内存包袱。

为了处分 MHA 在高打算老本和 KV 缓存方面的局限性，DeepSeek 打破性地引入了多头潜在预防力机制 MLA。

浅显说，MLA 最大立异之处在于：

运用低秩聚首压缩键值时期，减少了推理时的 KV 缓存，从而在保持性能的同期显赫缩短内存占用。

这一时期也被视为 DeepSeek-V3、DeepSeek-R1 等当红炸子鸡模子背后的要津。

而当今，为了进一步缩短其他 LLMs 的推理老本，商议东说念主员开垦了一种能将继承 MHA 的模子快速适配 MLA 架构的行径——MHA2MLA。

这一数据微调行径包含两个要津部分：

partial-RoPE，即从对预防力分数孝顺较小的查询和键的维度中移除旋转位置镶嵌（RoPE）；

低秩相似，基于预进修的键和值参数引入聚首奇异值领悟（SVD）相似。

先说第一个。Transformer 架构中，RoPE（旋转位置编码，Rotary Position Embedding )   通过旋转操作将位置信息融入查询向量 Q 和键向量 K ，匡助模子捕捉序诸位置联系。

但商议发现，在打算预防力分数时，并非通盘维度的 RoPE 对效果孝顺疏浚。

换句话说，即使去除那些对预防力分数影响较小的部分维度的 RoPE，表面上不会对模子领略高下文的才调变成要津影响。

基于此，商议东说念主员通过打算明锐度标的来确信哪些维度的 RoPE 孝顺较小。

具体而言，关于每个维度，打算 RoPE 变化时预防力分数的变化进度。一朝变化进度低于特定阈值的维度，即被判定为对预防力分数孝顺小。在后续打算中，这些维度将不再应用 RoPE。

最终实考据明，partial-RoPE 这一政策在不显赫影响模子性能的前提下，减少了打算量。

再说低秩相似政策。

该行径基于预进修的键和值参数，引入聚首奇异值领悟（SVD）相似。

SVD 是一种矩阵领悟时期，通过对键值矩阵进行 SVD 领悟，不错用低秩矩阵相似原始矩阵，从而减少参数数目。

具体杀青中，商议东说念主员领先索求预进修模子中的键和值参数矩阵，对这些矩阵进行聚首 SVD 领悟；然后把柄模子的性能和压缩需求，构建低秩相似矩阵，用这些低秩相似矩阵替代原始的键值矩阵参与后续打算。

最终效果知道，此举灵验缩短了模子推理时的打算量和内存占用。

性能险些不变，将 Llama2 KV 缓存减少 90% 以上

推行行径也考据了 MHA2MLA 行径的灵验性。

能在显赫缩短推理老本的同期，保持以至晋升模子性能。

商议东说念主员考中了用 MHA 或 GQA 事前进修的不同规模（135M-7B）的 LLMs，然后开垦了对照组。

一组是基于传统 MHA 的原始模子，用于径直对比 MHA2MLA 行径在疏浚任务和数据集上的性能发扬；另一组是继承分组查询预防力（GQA）的模子，GQA 行动 MHA 的变体，在一定进度上优化了打算老本，将其与 MHA2MLA 对比，能更明晰地展现 MHA2MLA 的上风。

在评估其学问性推理才调的六个基准测试中，商议发现：

与原始 LLMs 性能比较，四个基础模子的性能变化极小，135M 模子性能下落 0.25%，360M、1B7 和 7B 模子离别有 0.03% 、0.03% 和 0.37% 的性能晋升或保持。

这标明微调数据未显赫影响原模子性能，MHA2MLA 能灵验杀青架构挪动，而况微调数据仅需预进修数据的 0.3%-0.6%。

以至，较大模子在调度到 MLA 架构时性能下落更少，这表现这一行径对规模更大的模子更灵验。

此外，在长文本生成才调评估中，以 LongBench 为基准，MHA2MLA 比较进修后量化行径，在压缩率和精度均衡上发扬出色。

当 dkv=16 时，MHA2MLA 可杀青 87.5% 的压缩率，精度亏损仅 3%；与 4-bit 量化联接后，压缩率可达 92.19%（dkv=64 + Int4HQQ）和 96.87%（dkv=16 + Int4HQQ），精度亏损离别为 -0.5% 和 -3.2%，优于通盘 2-bit 量化的基线模子。

这也反应了 MHA2MLA 行径约略与量化时期细致兼容。

抽象以上推行，不错看到以 Llama2-7B 为例，MHA2MLA 在缩短推理老本（如减少 KV 缓存大小 92.19%）的同期，能将性能亏损限制在较小范围（如 LongBench 性能仅下落 0.5%）。

不外，论文也提到了商议局限性。

受打算资源为止，未在更大、更各样化的开源谎言语模子上考据 MHA2MLA；且由于 Deepseek 未开源 MLA 的张量并行推理框架，难以探索大于 7B 的模子。

下一步，商议东说念主员斟酌在更多模子上进行考据。

感兴味的童鞋不错稽查原论文 ~

论文：

https://arxiv.org/abs/2502.14837

代码：

https://github.com/JT-Ushio/MHA2MLA全站APP注册、手机网页版、在线登录、客户端以及发布平台优惠活动信息、招商代理加盟等