AIに文章でリクエストを送ってイラストを描いてもらおう!

2022/02/04 読了まで3分

どーもー!AIエンジニアのまっくす(@minux302

みなさんは、今密かにAIによるイラスト生成にちょっとした革命が起き、(個人的な感覚ですが)ブームになっているのをご存知でしょうか?

Twitter で "clip guided diffusion" と検索してください。文章とともにイラストが添付されているツイートを多く見かけます。なんとこれ、入力した文章をもとにAIによって生成された画像なのです。

「ARTSTATION(https://www.artstation.com/)のトレンドである「夢の間の入り口」」

「人工知能から生き残る人類の絵(Greg Rutkowski作)」

CryEngine の Volumetric Liehghtning, Volumetric Fog でレンダリングし、ARTSTATION で流行している豊かな森の日本の温泉
スタジオジブリ作品のようなツリーハウス

どうでしょうか?文章から絵を描くAIは少し前にも OpenAI の DALL-E が流行りましたがぐっとクオリティが上がっているように感じます。

DALL·E: Creating Images from Text
We’ve trained a neural network called DALL·E that creates images from text captions for a wide range of concepts expressible in natural language.

文章からイラストを描くAI が加速したきっかけとした VQGAN + CLIP の登場が有ります。これは画像生成AIであるVQGANとテキストと画像データを紐付けるAIであるCLIPを組み合わせたものになります。

VQGAN + CLIP についての経緯や大まかな仕組みはこちらの記事が参考になります。

VQGAN+CLIP — How does it work?
The synthetic imagery (“GAN Art”) scene has recently seen a kind of productivity explosion: A new kind of neural network architecture…

このモデルの亜種でとして、生成モデルのGuided Diffusion と CLIP を組み合わせたものが上記の "clip guided diffusion"になります。

先程添付したような Clip Guided Diffusion と全く同じものというわけではありませんが、CLIP Guided Diffusion を下記のサイトから簡単に試すことができます。

CLIP-Guided-Diffusion - a Hugging Face Space by akhaliq
Discover amazing ML apps made by the community

いくつか簡単に試した例

Ghibli Forest(ジブリの森)
City by the sea, anime style(アニメ風の海沿いの街)
左の画像を initial image に設定し、City by the sea, anime style(アニメ風の海沿いの街)

最初に添付したもの高解像度のものが出力されてはいませんが、文章の意味は汲み取ろうとしてくれていますね!

コードを公開してくださっている方などもおり、そちらの方はもっと高解像度のものも生成できたりするようなので自分で動かしてみるのも良さそうですね!例えば説明に出てきたVQGANも Google Colabolatory を使えば簡単に試すことができます。

https://note.com/sangmin/n/n5be7e2be5446

この分野は盛り上がりをみせているので期待大ですね!また面白いものが登場すれば紹介するかもしれません。それではまたー

Great! Next, complete checkout for full access to cre8tiveAI Gallery.
Welcome back! You've successfully signed in.
You've successfully subscribed to cre8tiveAI Gallery.
Success! Your account is fully activated, you now have access to all content.
Success! Your billing info has been updated.
Your billing was not updated.