lora 的思想很漂亮本质是待定系数法利用低秩存 patch损失一小点精度,换取存储的大量减小以及速度大幅提升AB = W,A B 的秩可以动态调整,利用低秩降低信息量。同样的东西可以在 patch 里见到。只记录 diff,并且利用了线代的技巧。矩阵相乘。