https://github.com/microsoft/LoRA

LoRA 在预训练大模型，如 GPT， 的主结构外，增加了 adaptor 层，可以用较小的 memory 来 finetune 大模型。如下图，只训练 A 和 B 的参数。

安装

pip install loralib

使用

定义模型

LoRA 目前只支持几种类型的 layer：nn.Linear, nn.Embedding 和 nn.Conv2d。同时，支持MergedLinear 来替换 nn.Linear 表示多层 MLP 的情况。