【Blender＆StableDiffusion】画像を使って立体的な背景を作る方法

こんにちは。

今回は画像を使って立体的な背景を作成していきます。ざっくりとした流れとしては以下の通りです。

背景画像を用意

今回はこちらの画像を使って立体的な背景を作っていきたいと思います。

あまりに複雑な背景だと立体化すると違和感が出てしまう可能性があります。

StableDiffusionWebUIをインストール

画像の深度マップを用意するには「StableDiffusionWebUI」を用意する必要があります。

このツールでは深度マップの他にも画像生成やポーズ検出などを実行できます。

こちらのツールのインストール方法や使用方法についてはかなり長くなるので、割愛させていただきます。

以下の記事に詳しく解説されているので、参考にしてみてください。

Stable Diffusion web UIのインス...

Stable Diffusion web UIのインストールと使い方 Stable Diffusion Web UIは、ブラウザでの操作で、AI画像生成を行うことができるツールです。今回はインストール方法と使い方を紹介します。

くろくまそふと

「Stable Diffusion web UI」のインストール方法・日本語化・使い方まとめ（AUTOMATIC1111版） 今回も画像生成AIに関する初心者向けの話題で、タイトルの通り 「Stable Diffusion web UI」のインストール方法・日本語化の方法・使い方 をまとめてみるという内容になっ...

ControlNetの導入

「StableDiffusionWebUI」を立ち上げたら、imgtoimgのタブに移ります。

深度マップを生成するには「ControlNet」と「Depth」を導入する必要があります。

導入方法に関しては以下の記事に掲載されているので、参考にしながら導入してみてください。

ControlNetの導入

旅する子猫さん（仮）

｢ControlNet｣の導入とその使い方【Stable Diffusion web UI】 ControlNet の導入方法と使い方を初心者向けに紹介しています。ControlNet を導入することでAI画像の構図や人物のポーズを自由に設定できます。

Depthの導入

動画編集ロードマップ | 未経験か...

【Stable Diffusion】ControlNetの深度情報用モデル『depth』の使い方を解説！ | 動画編集ロードマップ 『イラストの色を簡単に変更したい』『depthってどんな特徴があるの？』こんなお悩みはありませんか？この記事ではStable Diffusionの拡張機能であるControlNetで使えるdep...

深度マップを作成する

各種導入が終わったら深度マップを生成していきます。やり方は以下の通りです。

以上、画像生成したら右クリックで画像を保存しましょう。

Blenderで立体画像を作る

深度マップを生成したら、Blenderに移ります。以下の手順で背景画像を立体化しましょう。

これで背景の立体画像を作ることが可能です。

後はディスプレイスモディファイアの数値を調整したり、スカルプト等で形状を整えたりするとより見栄えが良い背景を作ることができます。

立体的な背景を作れるアドオン

この一連の作業を効率化してくれる「i-mesh」というアドオンもあります。

今回説明した方法よりも綺麗に立体的な背景を作ることが可能です。

また、パラメータ調整で形状等も調整できるので、頻繁にこの手法を使う場合は導入してみるのもいいかもしれません。

Blender Market

I-Mesh I-mesh (Image Mesh), is an addon that creates 3d objects from depth information that the addon also generates

まとめ

以上が立体背景を作る方法になります。

背景を接写するようなケースでは使えない方法ですが、簡易的な背景の作成にこの方法は採用できそうです。

また、オブジェクトを壁や地面に散らせばそこまで見えないのでベースの背景として利用するのもいいと思います。