LoRA模型训练完全指南：打造个性化AI风格

什么是LoRA？

LoRA（Low-Rank Adaptation）是一种轻量级的模型微调技术，允许用户在不影响主模型的情况下，为SD添加特定的风格、角色或概念。

LoRA的工作原理

LoRA通过在预训练模型的基础上注入小型权重来实现风格化。相比完整模型微调，LoRA文件通常只有几十到几百MB，训练成本低，使用方便。

训练环境准备

硬件要求

• 显卡：至少12GB显存（RTX 3060以上）
• 内存：32GB RAM
• 存储：至少100GB可用空间

训练工具

• Kohya SS GUI（推荐）
• Dash API
• 官方训练脚本

训练数据准备

1. 图片收集

收集20-50张高质量图片，涵盖不同角度、表情、光照。

2. 图片预处理

• 分辨率：512×512或768×768
• 格式：PNG或JPG
• 质量：清晰无水印

3. 标签（Tags）

使用BLIP或WD14标签器自动生成描述标签。

4. 正则化（Regularization）

准备与训练风格相反的图片，防止过拟合。

训练参数设置

基础参数

• Network Rank：128（推荐）
• Network Alpha：64
• Train Batch Size：1-2
• Epoch：10-20
• Learning Rate：1e-4
• Optimizer：AdamW8bit

_scheduler参数

• constant：恒定学习率
• cosine：余弦退火
• linear：线性增长

训练过程

1. 准备训练数据集
2. 调整图片大小
3. 生成标签
4. 配置训练参数
5. 开始训练
6. 监控loss曲线
7. 测试输出

LoRA使用方式

在WebUI中使用

1. 将LoRA文件放入Models/Lora目录
2. 在提示词中使用：

权重设置

• 0.1-0.3：轻微风格
• 0.4-0.7：适中效果
• 0.8-1.0：强烈效果

常见问题

过拟合

表现为生成的图像与训练素材过于相似。解决：降低epoch，增加正则化图片。

欠拟合

LoRA效果不明显。解决：增加epoch，提高学习率。

图像崩坏

检查训练图片质量，增加学习率预热步骤。

进阶技巧

1. 混合训练

同时训练多个概念，如角色+服装。

2. Textual Inversion

配合embedding使用效果更佳。

3. 联邦LoRA

多个LoRA叠加实现复杂效果。

总结

LoRA是SD生态中最强大的定制化工具之一。通过本教程，你可以训练出属于自己的个性化LoRA，实现各种创意想法。