【サンプル画像】リネ君 キャラLoRAの解説

◆以下解説

2種類のLoRAを利用して作成しました。

キャラLoRA

絵柄LoRA

です。

本日はキャラLoRAについて解説します。

LoRA https://github.com/kohya-ss/sd-scripts を利用しています。LoRAの詳細な利用方法については公式のドキュメントをご覧ください。

学習パラメータは以下の通り。

////////////////////////////////////////////////

"net_dim": 128,

"alpha": 128.0,

"scheduler": "cosine_with_restarts",

"cosine_restarts": 4,

"scheduler_power": 1,

"warmup_lr_ratio": null,

"learning_rate": 0.0001,

"text_encoder_lr": 0.0001,

"unet_lr": 0.0001,

"num_workers": 1,

"persistent_workers": true,

"batch_size": 1,

"num_epochs": 20,

"save_at_n_epochs": 1,

"shuffle_captions": true,

"keep_tokens": 1,

"max_steps": null,

"train_resolution": 512,

"min_bucket_resolution": 320,

"max_bucket_resolution": 960,

"lora_model_for_resume": null,

"save_state": false,

"load_previous_save_state": null,

"training_comment": null,

"unet_only": true,

"text_only": false,

"reg_img_folder": ,

"clip_skip": 2,

"test_seed": 23,

"prior_loss_weight": 1,

"gradient_checkpointing": false,

"gradient_acc_steps": null,

"mixed_precision": "fp16",

"save_precision": "fp16",

"save_as": "safetensors",

"caption_extension": ".txt",

"max_clip_token_length": 150,

"buckets": true,

"xformers": true,

"use_8bit_adam": true,

"cache_latents": true,

"color_aug": false,

"flip_aug": false,

"vae": null,

"no_meta": false,

"log_dir": null

}

////////////////////////////////////////////////

学習画像枚数は58枚。

アノテーションはマルゼンスキームに従って、不要なタグを削除します。キャラLoRAにおいて重要なことは素材をその特徴を十分に認識できるように加工することです。学習素材の枚数に関しては最近は以前より増やしていますが、学習素材を絞って高品質な素材に限定した方がよい可能性もあり、まだ検証途中です。

prompt

looking at viewer, blush, smile,(solo:1.2), simple background,( white background:1.2),(armp up, armpit:1.4) , upper body,garter,white shirt ,ikemen,

Negative prompt

EasyNegative, bad anatomy,watermark,text,signature,(breasts,large breasts,female ,1girl:1.4),multiple views, holding,nude, (hat:1.4),

なお画像はt2iで出力したものを様々に修正しているため、上記の方法だけでは同様の物を出力することができないことをご了承ください。