Stable Diffusion LoRA 自訓練模型教學：打造你的專屬 AI 角色設計風格

身為一個靠畫畫吃飯的插畫師，我花了好幾個月研究 Stable Diffusion 的 LoRA 訓練。一開始是好奇，後來發現它真的能幫我解決角色一致性的問題。當你需要同一個角色出現在 30 張不同場景圖裡，有了自訓練的 LoRA 模型，效率完全不一樣。

LoRA 是什麼？

LoRA（Low-Rank Adaptation）是一種輕量級的模型微調技術。LoRA 檔案通常只有 10-200MB，訓練時間在一般遊戲級顯卡上只要幾小時。如果你對 AI 輔助角色設計有興趣，推薦先看 AI 角色設計工作流教學。

LoRA 在角色設計中的應用場景

繪本角色系列圖、IP 角色商品圖、遊戲角色立繪——這三個場景 LoRA 都能大幅提升效率。

Step 1：準備訓練資料集

圖片要求

角色 LoRA 需要 15-30 張圖片，涵蓋正面、側面、背面、全身、半身、特寫、不同表情。品質清晰、無浮水印、背景乾淨。

自動標籤與手動修正

用 WD Tagger 自動標籤後一定要手動檢查。重要：加入觸發詞、移除不準確的 tag、統一 tag 格式。

Step 2：訓練環境設定

用 Kohya_ss GUI 訓練

硬體需求：至少 8GB VRAM 的顯卡（RTX 3060 以上）。

關鍵訓練參數

Network Rank 32-64、Alpha 16-32、Learning Rate 1e-4、Epochs 10-20、Optimizer AdamW8bit、Scheduler cosine_with_restarts。

Step 3：開始訓練

開啟 sample generation 觀察進度，設定多個 checkpoint 儲存點。20 張圖 + 15 epochs 在 RTX 3080 上約 30-60 分鐘。

Step 4：評估與調整

用不同 prompt 和 LoRA weight（0.5-0.8）測試。注意過擬合（跟訓練集太像）和欠擬合（特徵不明顯）的徵兆。

Step 5：使用你的 LoRA 模型

角色 LoRA weight 建議 0.6-0.8，風格 LoRA 可以設低一點 0.3-0.6 當「調味料」用。可以混合多個 LoRA。

用 LoRA 保持角色一致性

先手繪設定稿 → 訓練 LoRA → 生成不同場景草稿 → 挑選好的構圖精修。這個流程讓我效率提升了約 3 倍。相關的角色繪製技巧，可以參考 Procreate 動物角色插畫教學和 Midjourney 商業插畫 Moodboard 教學。

常見錯誤

訓練資料太少（最少 15 張）、圖片品質參差、忘記加觸發詞、Rank 設太高、沒有做正規化。

倫理與版權注意事項

只用自己的作品或有授權的素材訓練、不要訓練真人的臉、公開發佈時標明訓練素材來源、尊重同行。如果你想用更安全的方式做插畫，也可以看 Procreate 水彩筆刷教學。