full nelsonポーズLoRA+キャラLoRAを複数適用する方法

◆解説

ポーズLoRA(full nelson)について解説します。

本日の画像に関しては3-4種類のLoRAを利用して作成しました。

・ポーズLoRA(full nelson)

・キャラLoRA(空)

・絵柄LoRA 1-2

です。

複数のLoRAを適用するには https://github.com/hako-mikan/sd-webui-lora-block-weight を適用するのが一般的です。

ポーズLoRAの学習には https://github.com/kohya-ss/sd-scripts を利用しています。LoRAの詳細な学習方法については公式のドキュメントをご覧ください。

学習パラメータは以下の通り。flipをtrueにすることで、左右反転の学習も行っています。

////////////////////////////////////////////////

"net_dim": 128,

"alpha": 128.0,

"scheduler": "cosine_with_restarts",

"cosine_restarts": 4,

"scheduler_power": 1,

"warmup_lr_ratio": null,

"learning_rate": 0.0001,

"text_encoder_lr": 0.0001,

"unet_lr": 0.0001,

"num_workers": 1,

"persistent_workers": true,

"batch_size": 1,

"num_epochs": 20,

"save_at_n_epochs": 1,

"shuffle_captions": true,

"keep_tokens": 1,

"max_steps": null,

"train_resolution": 512,

"min_bucket_resolution": 320,

"max_bucket_resolution": 960,

"lora_model_for_resume": null,

"save_state": false,

"load_previous_save_state": null,

"training_comment": null,

"unet_only": true,

"text_only": false,

"reg_img_folder": ,

"clip_skip": 2,

"test_seed": 23,

"prior_loss_weight": 1,

"gradient_checkpointing": false,

"gradient_acc_steps": null,

"mixed_precision": "fp16",

"save_precision": "fp16",

"save_as": "safetensors",

"caption_extension": ".txt",

"max_clip_token_length": 150,

"buckets": true,

"xformers": true,

"use_8bit_adam": true,

"cache_latents": true,

"color_aug": false,

"flip_aug": true,

"vae": null,

"no_meta": false,

"log_dir": null

}

////////////////////////////////////////////////

学習画像枚数は43枚。

アノテーションはマルゼンスキームに従って、不要なタグを削除します。ポーズLoRAにおいて重要なことは素材をその特徴を十分に認識できるように加工することです。学習素材の枚数に関しては最近は以前より増やしていますが、学習素材を絞って高品質な素材に限定した方がよい可能性もあり、まだ検証途中です。

また、ポーズを制御するためにControl-netも1-2種類使用しています。(scribbleなど)

プロンプトは以下の通りです。

Prompt

(blush:1.2), clenched teeth, folded reverse suspended congress, looking down, speed lines,multiple_boys,yaoi,2boys,otoko_no_ko,male_focus,penis,testicles,anal,uncensored,sex,multiple_penises,(nude:1.4),full_nelson,sex_from_behind,erection,spread_legs,solo_focus,boy_on_top,perineum,ass

,(Torture chamber, basement,skylight:1.2)

Negative prompt

EasyNegative, bad anatomy,watermark,text,signature,(breasts,large breasts,female ,1girl:1.4),(bar censored,censored:1.2)

なお画像はt2iで出力したものを様々に修正しているため、上記の方法だけでは同様の物を出力することができないことをご了承ください。