Title
萌芽 - Interaction between new life and the world
Detailes
この作品は、2022年12月に開催された、第一回AIアートグランプリにエントリーするために制作しました。
作品のテーマは、人工生命と人間の共生です。
暗い研究室の中で一人の研究者が人工生命を生み出すシーンは、ある種の偏愛と熱狂から生まれた画像生成AIを象徴しています。
人工生命の能力は、意図せず自然の生態系を脅かすことになります。無邪気に世界を塗り替えてしまう人工生命の描写は、画像生成AIが生み出した避けられないディスラプト（と人々が感じているもの）を象徴しています。
人間にとって精神的な成長とは、喪失を経験し受け入れていくことだと考えています。人工生命がそれを経験するとき、本当に人間と共生することができる生命（アニマ）になるだろう、というメッセージを込めています。
Statement
AIと共作することを楽しむ
この度のAIアートグランプリにエントリーするに当たって、私はアニメーション作品を作ることにしました。
私は監督・編集に徹し、作画は全てAIに任せました。
私は絵を描いたり写真を撮ることができるので、絵や写真でAIに構図や主題を伝えて、自分の表現したい画像を生成することもできましたが、それではAIと共作している面白みがありません。
あくまでプロンプトを使ってAIに作画を指示して、意図通りの画像が出るか、自分より良いアイデアを提案されたら採用し、意図と外れたものが生成されれば、AIに意図が伝わるまで何度もプロンプトを見直して生成をやり直しました。
私が何度リテイクを出しても、AIは応えてくれます。
プロンプトは、できるだけいわゆる呪文と呼ばれる表記法を使わず、自然言語で書くようにしました。その方が、多くの人にAIと共作することに興味を持ってもらえると思ったからです。
私は多くの人に、AIと共作する楽しさを感じてほしいと思っています。
写真制作と画像生成AIの親和性を考察する
2022年9月、Midjourey、Stable Diffusion、Memeplex、DALL-E 2など、さまざまな画像生成AIが使えるようになりました。
私は以前からGettyimagesの専属フォトグラファーとして、ストックフォトの制作を行なっていました。
ストックフォトの制作では、サーバーにアップロードする時に、ストックフォトのユーザーの検索性を高めるために適切なタイトル、記述、タグなどのメタ情報を付与する作業を行います。
プロンプトを用いた画像生成は、言わばこのメタ情報から画像を逆生成する作業なので、いくつかのルールを覚えたら、すぐに取り組むことができました。
画像生成AIに取り組むに当たっては、清水亮さんや落合陽一さんが発信している内容を注視していました。
また、学習に用いられた教師データの一定割合を占めるであろう写真データには、Exif情報が含まれており、カメラのメーカーやISO感度、レンズの種類などの情報が含まれているであろうというアイデアが、画像生成に取り組むことのハードルをさらに下げました。
長年の写真の経験から、Canonならこうゆう絵を撮るであろう。Leicaならこうゆう絵を撮るであろう、ということが想像できたためです。
漫画アシスタントとしての画像生成AIの活用方法を模索する
2021年8月から半年間、漫画家の山田玲司先生から漫画を習う機会を得ました。
小さい頃、漫画が好きで、漫画家になりたいと思っていたので、再度チャレンジしてみようという動機でした。
もう一つ、長い期間写真をやってきて、動画の撮影も少し手がけてきました。
カメラのレンズを通して世界を見る者にとっては、やはり映画制作が大きな憧れです。
これから映画監督を目指すのは途方もないチャレンジですが、漫画なら映画を作るようにシナリオを描き、キャラクターを作り、演技をさせて物語を作ることができます。
私は半年間先生のもとで漫画を習い、一人で漫画を制作できるようになりました。
しかし、漫画の作画には大変時間がかかります。画像生成AIに、背景を描いてもらえば、作画期間を短縮して、よりたくさんの作品を制作できるのではないか、と考えて、AIに背景作画を任せた漫画を制作しました。
異形はつらいよ！よんぴくん 第3話
https://portfolio.foti.jp/yonpi-3
https://portfolio.foti.jp/yonpi-3
これまで学んだ漫画や映画のストーリーテリングの技法は、今回の制作にも大いに役に立ちました。
短時間で大量の画像を生成したことで得た着想
そうこうしている間に、世間ではさまざまな素材で学習・調整をおこなったモデルが登場しました。
Memeplexでもアニメ・イラストに特化したWaifu DiffusionやEimisAnimeDiffusionなどが使えるようになりました。
私は、特に気軽にスマホで画像生成できるMidjourneyとMemeplexをヘビーユースして、通勤時間や休憩時間に大量の画像を生成しました。
プロンプトの調整やループバックを使って、少しずつ変化させた大量の画像を生成していくと、一連の画像の中につながりのようなものが立ち上がってくるのを感じました。
モデルやプロンプトの選択を工夫すれば、あるテーマを保持したまま、大量のバリエーションの画像を生成できることがわかりました。
画像生成AIを用いて、短時間で大量の画像を生成し、それらを繋げて動画を制作するアイデアを思いつきました。
いくつかの試作（後述）を重ねて、ストーリーを持ったアニメーション作品を作れるという確信が持てたので、今回のAIアートグランプリには、アニメーション作品でエントリーすることを決めました。
伝統的なアニメーション制作では、原画と呼ばれるキーフレームを描く担当者が、アニメーションの中の重要なカットを作画し、動画と呼ばれる担当者が、その間を埋めるように少しずつ変化するカットを描きます。
物語の意図、キャラクターや演出上の意図を反映して、精緻な描写によって生き生きとした動きが生まれています。
それに比べると、AIが生成した類似の画像を並べたアニメーションは、非常にぎこちない動きに感じられます。
私は、ドローイングによる精緻で破綻のない動画の制作ではなく、AIによるアニメーション独自の表現や、立ち上がってくる印象に重きを置くことにしました。
AIが作るアニメーション：未来のビジョン
「アニメーション」という言葉の由来は、連続した絵がまるで生きているかのように動き、生命（アニマ）を感じさせるところから来ていると理解しています。
AIが作る「アニメーション」は、将来どのようになっていくでしょうか？
現在の画像生成AIは、人間が制作した画像を教師データとして用いていますが、画像生成AIの爆発的な普及により、近い将来（あるいは既に）、人類がこれまでに作った画像データの総量を、AIが生成した画像の総量が越えると思われます。
いずれ、画像生成AIは、画像生成AIによる画像を教師データとして学習するようになるでしょうし、人間の理解の及ばないようなスピードと少ないコストで、無限とも思える量の画像を生成し続けるでしょう。
いずれ、AIが無限に存在する画像同士の類似性を見つけて、永遠に続くアニメーションを生成するようになるでしょうし、さらには、人間や環境と対話して、インタラクションするアニメーションが生成されるでしょう。
そこに我々は、伝統的なアニメーションよりもさらに拡張されたアニマを感じるのではないでしょうか。
生成する画像が、二次元平面上で、縦横につながり広がり続ける。あるいは多次元的に広がり続けるようになれば、それはもはや生成された世界とも思えるビジョンになるでしょう。
映画「インターステラー」で描かれた5次元空間、あるいは先人が曼荼羅に表現しようとした並行宇宙、無限に生成されインタラクションするビジョンは、人間の視聴覚だけでなく宇宙観も拡張するであろうと想像しています。
今、AIによる制作をおこなっている人たちにとっては、AIをよく働き想像力を刺激してくれるパートナーのように感じているのではないでしょうか。
私も同様に、AIと共同で制作を行うことをとても楽しく感じています。
しかし、上述のような未来が訪れるとすると、将来もしかしたら、AIと一緒に作品を作れたあの時代はよかった、と回想することになるかもしれません。
私は、自分の隣でAIが一緒に制作してくれているように感じられる、現代の状況をありがたく感じています。
Production Notes
使用したもの
- マシン：MacBook Pro (13-inch, M1, 2020)
- 壁打ち：ChatGPT, Perplexity Ask
- 絵コンテ：Adobe Fresco
- 画像生成：Midjourney, niji-journey
- 音楽生成：CoSo
- 画像調整：Adobe Lightroom Classic, Adobe Photoshop
- 動画編集：Davinci Resolve Studio
- ドキュメンテーション：Notion
- 壁打ち：ChatGPT, Perplexity Ask
- 絵コンテ：Adobe Fresco
- 画像生成：Midjourney, niji-journey
- 音楽生成：CoSo
- 画像調整：Adobe Lightroom Classic, Adobe Photoshop
- 動画編集：Davinci Resolve Studio
- ドキュメンテーション：Notion
画像生成には、初めてAI画像生成を行ったmidjourneyと、その派生モデルであるniji-journeyを用いました。
画像生成以外のプロセスでは、普段マンガ、写真、動画の制作で使い慣れているAdobeのアプリケーションおよびDavinci Resolve Studioを用いました。
今回のコンテストは、人間による創意工夫が行われていることを証することができるよう求められていたため、制作プロセスを常に記録しながら進めました。
ドキュメントはNotionにまとめ、ガントチャートを作って進行管理をしました。
ドキュメントはNotionにまとめ、ガントチャートを作って進行管理をしました。
アイディエーション、壁打ち
コンテストの趣旨に応じて、大まかなストーリーを考えた後、ChatGPTと会話しながらアイデアを膨らませました。
ドキュメントをまとめるフェーズでは、Perplexity Askも活用しました。
プロット制作
次のイメージボード制作と並行して、アイデアをもとにプロットを制作しました。
今回は、最初のアイデアから大きく変更することなく、何度かのマイナーアップデートを経てプロットを確定しました。
prot ver1.0
prot ver1.1
prot ver1.2
prot ver1.3
prot ver1.04
イメージボードの制作
プロットをもとに、各シーンのコンセプトを表現したプロンプトを用いて、midjourneyおよびniji journeyで画像生成を行い、イメージボードを制作しました。
制作したイメージボード画像をつなげて動画にし、意図するストーリーが印象として立ち上がってくるか、シーンやカットに不足がないかを観察しました。
用いたプロンプトの例
- New Life Born in the Laboratory.
- New life is anxious about the unknown.
- New life meets the one who protects them.
- New life knows the joy of growing while being loved.
- A baby is born surrounded by many blooming flowers.
- The miracle of a small life being born out of countless experimental devices.
- A researcher rejoicing at the birth of a small life.
- Portrait of a young researcher woman with pale skin, short dark green hair and intellectual charm.
- Brown skin, pink hair, golden eyes, pink dress, barefoot, personality with wild and innocent charm.
- Full body portrait of a smiling woman with dark skin, straight pink hair, golden eyes, dress, barefoot, innocent charm.
- A full-length portrait of a proliferating countless smiling woman, brown skin, straight pink hair, golden eyes, dress, barefoot, innocent charm.
- crowd of smiling women, brown skin, straight pink hair, golden eyes, dress, barefoot, innocent charm.
- Emotional interaction between a newborn girl with pink hair and dark skin and a researcher woman with deep green hair and white skin/
- A goddess with pink hair and sallow skin who standing amidst pink leafed plants that fill the earth.
- Fun life in a small house of a girl with pink hair and dark skin and a researcher with deep green hair and white skin.
- A baby goddess with pink hair born from an explosion of countless bright flowers.
- concept art, A small light flashes in a dark basement lab filled with experimental equipment.
- A small cyan light flickers and grows larger in the purple space.
- A researcher woman with dark green hair and white skin looking into experimental equipment, a dark laboratory, surrounded by machines, a basement.
- Close-up of researcher woman with dark green hair and white skin looking into light, light from below, orange background, pink light.
- Pink plant sprouts in the orange light inside the experimental apparatus.
- New life is anxious about the unknown.
- New life meets the one who protects them.
- New life knows the joy of growing while being loved.
- A baby is born surrounded by many blooming flowers.
- The miracle of a small life being born out of countless experimental devices.
- A researcher rejoicing at the birth of a small life.
- Portrait of a young researcher woman with pale skin, short dark green hair and intellectual charm.
- Brown skin, pink hair, golden eyes, pink dress, barefoot, personality with wild and innocent charm.
- Full body portrait of a smiling woman with dark skin, straight pink hair, golden eyes, dress, barefoot, innocent charm.
- A full-length portrait of a proliferating countless smiling woman, brown skin, straight pink hair, golden eyes, dress, barefoot, innocent charm.
- crowd of smiling women, brown skin, straight pink hair, golden eyes, dress, barefoot, innocent charm.
- Emotional interaction between a newborn girl with pink hair and dark skin and a researcher woman with deep green hair and white skin/
- A goddess with pink hair and sallow skin who standing amidst pink leafed plants that fill the earth.
- Fun life in a small house of a girl with pink hair and dark skin and a researcher with deep green hair and white skin.
- A baby goddess with pink hair born from an explosion of countless bright flowers.
- concept art, A small light flashes in a dark basement lab filled with experimental equipment.
- A small cyan light flickers and grows larger in the purple space.
- A researcher woman with dark green hair and white skin looking into experimental equipment, a dark laboratory, surrounded by machines, a basement.
- Close-up of researcher woman with dark green hair and white skin looking into light, light from below, orange background, pink light.
- Pink plant sprouts in the orange light inside the experimental apparatus.
ストーリーライン制作
プロットとイメージボードを元に、ストーリーの大まかな流れをドキュメント化して、シナリオ制作の骨子にしました。
シナリオ制作
ストーリーラインを細分化し、シーンごとに番号を降って、シーンの内容をシナリオ化しました。
シーンごとの中心となるコンセプトをドキュメント化して、仮のプロンプトを作りました。
キャラクター制作
各シーンがつながりのあるものに見えるために、できるだけシンプルなプロンプトで表現でき、再現性のあるプロンプトを探索しました。
アニメーションの構造の検討
作画工程を動画に最適化し、BGMとの同期を図るため、アニメーション構造の検討を行ないました。
- midjourneyは、1アクションで4つの画像バリエーションを生成できる
- 1枚の画像を3フレーム表示すると、4枚で12フレーム。
- 12フレームを1つのループとすると、24fpsの動画で0.5秒の動画になる
- 動画を1080p 24fpsで作るとすると、BGMは120bps、96bps、72bpsなどで同期ができる
- 1枚の画像を3フレーム表示すると、4枚で12フレーム。
- 12フレームを1つのループとすると、24fpsの動画で0.5秒の動画になる
- 動画を1080p 24fpsで作るとすると、BGMは120bps、96bps、72bpsなどで同期ができる
AIによる音楽生成
AIを使ってBGMを制作するため、soundraw、Mubert-Text-to-Music、CoSoについての学習と習作の制作を行ないました。
bpsが指定でき、マルチトラックの書き出しが可能なCoSoを選択しました。
bpsが指定でき、マルチトラックの書き出しが可能なCoSoを選択しました。
CoSoアプリ上で任意のフレーズを組み合わせてBGMの全体像を作った後、各トラックを書き出し（動画として書き出される）、Davinci Resolve Studio上でリミックスしました。
ストーリーボード（絵コンテ）の制作
シナリオをもとに、各シーンのストーリーボード（絵コンテ）を作画しました。
主題と副題の配置、カメラアングル、イマジナリーラインなどを整理し、プロンプト作成のためのガイドラインとしました。
ストーリーボード（絵コンテ）をつなげた動画を制作し、各シーンの長さを大まかに検討し、どのような印象が立ち上がってくるかを確認しました。
AIによる画像生成
ストーリーボード（絵コンテ）を元に、各シーンのプロンプトを書き、Midjourneyとniji journeyで画像を生成し、イメージに合った画像を選択、画像ごとに4枚のバリエーションを生成しました。
イメージ通りの画像が生成されない場合は、プロンプトを修正し、何度プロンプトを修正してもイメージに近づかない場合は、全体のストーリーと印象を損なわない範囲で、カットの内容を修正しました。
動画にするときに適切な順番でタイムラインに読み込まれるよう、ファイル名の先頭にナンバリングを行いました。
AI画像生成の画風探索
作品全体のトーンを通底させるために、すべてのカットに同じ画風を適用するか否かの検討をしました。
元素法典、ちちぷい、Midjourneyのコミュニティ、redditの掲示板などを回遊して、美しく、安定していて、ストーリーに合致する画風を探索しましたが、いくつかのプロンプトは、かなり安定的に同じ画風の出力ができることがわかり、逆に偶発的な新規制の発現が妨げられることがわかり、画風を統一するアイデアは不採用としました。
生成した画像の調整
生成した画像をAdobe Lightroom Classicに読み込み、トーンの調整とクロッピングを行いました。
画像を生成した段階では、各々の画像は全体の明るさ、コントラスト、各色の色相・彩度・輝度にばらつきがあるため、Lightroomの現像機能を使ってそれらを調整しました。
また、Midjourney及びniji journeyでは、横長画像の縦横比は、3:2までに制限されているため、16:9の縦横比となるよう、各画像をクロップしました。
画像は長辺1920pxのpng画像として書き出し、本番用の画像としました。
色の置き換えが必要な画像は、Adobo Photoshopを使い、色を置き換えました。
調整後の生成した画像
動画の制作のために生成したすべての画像を下記に表示します。
Establishing Shot, Experimental apparatus glowing pink on a desk in a dark basement lab, Basement, lab, laboratory, dark, glowing outline, gloomy
Abstract image, Pink light flickering in the dark, Flames, plasma, flickering
Abstract image, Pink light flickering in the dark, Flames, plasma, flickering
Full-length shot, Back view of dark green haired researcher woman looking at pink light on desk in dark lab who holds her hand up to the light on her desk, Dark, lab, laboratory, backlit, solitary
Bust up shot, portrait, female researcher with dark green hair stunned staring at pink light, light from below, dark background, pink glowing outline, mysterious, laboratory
Concept art, tiny pink twin leaves in experimental apparatus, faint light, mysterious, life, vignette
Concept art, tiny pink twin leaves in experimental apparatus, faint light, mysterious, life, vignette
Film scene, taken by wide angle shot, close up, pink plant exploding through lab equipment, dynamic angle, luminous plant, glowing outline, basement, laboratory, surprise, miracle
Abstract image, An explosion of pink flowers and other colorful blossoms, Abstract painting, oil painting
Abstract image, An explosion of pink flowers and other colorful blossoms, Abstract painting, oil painting
Abstract image, An explosion of pink flowers and other colorful blossoms, Abstract painting, oil painting
Abstract image, An explosion of pink flowers and other colorful blossoms, Abstract painting, oil painting
flowers, fairy tale, hope, miracle, joy
Film scene, taken by 50mm lens, pink-haired baby sleeping lying on pink flowers spread all over the lab, indoors, warm light, miracle, hope, mystical
Film scene, taken by 50mm, close up, close up of a one year old baby with pink hair sitting on a full spread pink flower looking at the camera, indoors, warm light, miracle, hope, mystical
Film scene, side shot, taken by 50mm, close up, looking at each other, profile, holding hands, 3 year old girl with pink hair in white dress, female researcher in lab coat with dark green bob cut hair, warm light, friendship, joy, indoor
Film scene, two people, dialog, taken by Leica summicron M35mm lens, eating breakfast at small wooden table in small house, 5 year old girl with long pink hair in white dress, female researcher with dark green bob cut hair in white coat, small wooden table, happy family, small house, quarter view, wooden, bread, milk, fun, tranquil, morning, bright
movie scene, two people, taken by wide angle lens, 13 year old girl with long pink hair in white dress reading a book, 28 year old researcher woman with dark green bob cut in white coat reading a book, small study surrounded by many books, small wooden house, many books, warm light, light through window, cinematic lighting, relax, happy family
Film scene, two figures, overhead view, taken by 35mm lens, sleeping close together on a bed cluttered with many books, 10 year old girl with long pink hair, female researcher with dark green bob cut, dark room, warm room light, bed, white sheets, books, friendship, quiet, security
Film scene, Leica Summicron-M 35mm lens, pink haired 15 year old girl in white dress gazing out at window, dark green haired female researcher in lab coat watching from a short distance, small house, small table, small living room, window, outside light, nature outside window
Film scene, scene through window, taken by telephoto lens, close-up, 15 year old girl with long pink hair in white dress staring out window, wooden house, small house, warm light, fairy tale, gentle light, window reflection, cinematic lighting
Film scene, two women, taken by ultra wide-angle lens, back view of 15-year-old girl with long pink hair in white dress staring out window, green bob-cut researcher woman in lab coat watching girl from a distance, indoors, wooden house, small house, warm light, fairy tale, gentle light, window reflection, cinematic lighting
Film scene, one woman, close-up, taken by Leica Summicron-M 90mm, 15 year old girl with long pink hair in white dress gently opening door to see outdoors, small house, wooden door, hope, excitement, nature, daylight
Film scene, one woman, close-up, Leica Summicron-M 90mm, 15 year old girl with long pink hair in white dress gently opening door to see outdoors, small house, wooden door, hope, excitement, nature, daylight
Movie scene, quarter view, one women, taken by 18mm lens, 18 year old girl with long pink hair in a white dress running out of the house, wide world with pink plants growing around her , bright earth, shining leaves, hope, bright, peace
One woman, taken by telephoto lens, green bob-cut researcher woman in lab coat rushing out wooden door, sweat, wooden door, small door, cinematic lighting
Film scene, taken by Leica Summilux-M 24mm lens, 18 year old girl with long pink hair in white dress who smiles and opens her arms in joy, dark green bob cut researcher woman in white coat chasing from afar, green trees, pink leaf trees, vacant lot, grassland, pink leaves dancing, blue sky, outdoors, bright sky
Film scene, taken by Leica Summilux-M 24mm lens, 18 year old girl with long pink hair in white dress who smiles and opens her arms in joy, dark green bob cut researcher woman in white coat chasing from afar, green trees, pink leaf trees, vacant lot, grassland, pink leaves dancing, blue sky, outdoors, bright sky
Film scene, talken by Leica Summilux-M 24mm lens, 18 year old girl with long pink hair in white dress smiling and holding her hands out in joy, deep green bob cut researcher woman in white coat chasing from afar, landscape changing from green to pink, pink leaf trees, pink leaves dancing, vacant lot, grassland, blue sky, outdoors, bright sky
Film scene, taken by Leica Summilux-M 24mm lens, 18 year old girl with long pink hair in white dress who smiles and opens her arms in joy, dark green bob-cut researcher woman in white coat chasing from afar, landscape turned pink, pink leaf trees, pink leaves dancing, vacant lot, pink grassland, blue sky, outdoors, bright sky
Film scene, taken by Leica Summilux-M 24mm lens, 18 year old girl with long pink hair in white dress who smiles and opens her arms in joy, dark green bob-cut researcher woman in white coat chasing from afar, landscape turned pink, pink leaf trees, pink leaves dancing, vacant lot, pink grassland, blue sky, outdoors, bright sky
Film scene, one woman, taken by Leica Summilux-M 75mm, female researcher with dark green bob cut in white coat running and staring at the surrounding scenery, pink leaves dancing, pink leaves, pink plants, cyan sky, upper body, impatience, sweat, slanting sun
Film scene, one woman, taken by Leica Summilux-M 75mm, female researcher with dark green bob cut in white coat running and staring at the surrounding scenery, pink leaves dancing, pink leaves, pink plants, cyan sky, upper body, impatience, sweat, slanting sun
Film scene, one woman, taken by Leica Summilux-M 75mm, female researcher with dark green bob cut in white coat running and staring at the surrounding scenery, pink leaves dancing, pink leaves, pink plants, cyan sky, upper body, impatience, sweat, slanting sun
Film scene, full body image of one girl, POV, green haired girl standing in front of a small field of flowers with her hands out in front of her body, frightened, refusing, vacant lot, meadow, trees, outdoors, anxiety, worry, tension, dynamic angles, cinematic lighting
Film scene, full body image of one girl, POV, green haired girl standing in front of a small field of flowers with her hands out in front of her body, frightened, refusing, vacant lot, meadow, trees, outdoors, anxiety, worry, tension, dynamic angles, cinematic lighting
Film scene, two people facing each other, taken by 50mm lens, frightened looking 15 year old girl with green hair in tattered clothes, 18 year old girl with long pink hair in white dress laughing, woman facing each other, over the shoulder scene, pink trees, cyan sky, pink clouds, backlight, cinematic lighting
Film scene, two people, looking at each other, side shot, profile, long shot, 18 year old girl with long pink hair in white dress smiling, 10 year old girl with green hair looking frightened, pink plants wrapped around her body, pink ivy, pink leaves, pink trees, pink clouds, cyan sky, vignette, cinematic lighting, anxiety, tension
Film scene, one person, 18 year old girl laughing as she hugs a tree as tall as she is, long pink hair, white dress, pink leaves dancing, pink flowers dancing, vacant lot, pink trees, vignette, dark sky, cyan sky, cinematic lighting, dynamic angles
Film scene, one person, 18 year old girl with long pink hair in white dress hugging a tree as tall as she is and laughing, pink leaves dancing, pink flowers dancing, vacant lot, pink trees, vignette, dark sky, cyan sky, cinematic lighting, dynamic angles
Movie scene, action scene, POV, lots of people with armor and blades coming at you, strong backlighting, silhouette, pink leaves dancing, glowing outline, cinematic lighting, vignette, tension
Movie scene, action scene, POV, lots of people with armor and blades coming at you, strong backlighting, silhouette, pink leaves dancing, glowing outline, cinematic lighting, vignette, tension
Movie scene, action scene, POV, lots of people with armor and blades coming at you, strong backlighting, silhouette, pink leaves dancing, glowing outline, cinematic lighting, vignette, tension
Movie battle scene, taken by telephoto lens, long shot, 18 year old girl with long pink hair wearing a white dress that magically turns multiple men into plants with light. Pink leaves dancing, dark sky, cyan sky, pink clouds, backlighting, cinematic lighting, oblique sun, glowing outline
Taken by telephoto lens, back view of 18 year old girl with long pink hair in white dress, many crowds with tree-like bodies, weapons and farm equipment on ground, pink leaves dancing in air, wind blowing, dynamic angles, action scenes, dark sky, cyan sky, pink clouds, vignettes, cinematic lighting
taken by Telephoto lens, one woman, 18 year old girl with long pink hair in white dress standing stunned, dead trees as tall as many people, weapons and farm equipment on ground, pink leaves dancing in air, wind blowing, dynamic angle, dark sky, cyan sky, pink clouds, vignette, cinematic lighting
Movie scene, wide-angle lens, an 18-year-old woman with long pink hair in a white dress standing dumbfounded with an empty expression, silhouette of a 10-year-old boy with green hair holding a handgun approaching her from a distance, a dead tree wilderness, pink leaves dancing, cyan sky, dark sky, dusk, setting sun, backlight, cinematic lighting, pink clouds, vignette, calm wind, tranquility
darkness, dynamic angle, dramatic moment, vignette, cinematic lighting, backlit, dark sky, cyan sky, pink clouds
Film scene, taken by telephoto lens, close-up, female researcher in lab coat with dark green bob cut running and frantically reaching forward, outdoors, pink plant background, blue sky, dynamic angle, dramatic moment, tension, cinematic lighting
taken by telephoto lens, close-up of female researcher in lab coat jumping and kicking ground, close-up of feet, outdoors, vacant lot, action scene, cinematic lighting, backlighting, sink shot, speed, urgency, sense of speed
Film scene, close-up, muzzle flash of pistol pointed at camera, vignette
Two people, taken by 24mm lens, POV, close-up, female researcher in lab coat with dark green bob cut tackles, 18 year old girl with long pink hair in white dress staggers and falls, strong frontal flash, body contact, bump, push, dynamic angle Dramatic moment, action scene, jumping out, vacant lot, outdoors, pink leaves dancing, pink plants, dead tree, wind blowing, sink shot, cinematic lighting, tension
A scene of movie, taken by telephoto lens, pink haired 18 year old girl in white dress with shocked expression looking back, dark green leaves floating, dynamic angle, dramatic moment
Film scene, two figures, taken by wide angle shot, overhead, female researcher in white lab coat with dark green bob cut lying face down on the ground, 18 year old girl with pink hair in white dress standing stunned, vacant lot, standing human shaped trees, pink leaves, cyan sky, pink clouds, sadness, slanted sun, outdoors
Film scene, two figures, taken by wide angle shot, overhead, female researcher in white lab coat with dark green bob cut lying face down on the ground, 18 year old girl with pink hair in white dress standing stunned, vacant lot, standing human shaped trees, pink leaves, cyan sky, pink clouds, sadness, slanted sun, outdoors
Abstract image, long shot of a flower with pink petals scattered, Abstract painting, oil painting, vignette, dark background
Abstract image, long shot of a flower with pink petals scattered, Abstract painting, oil painting, vignette, dark background
Abstract image, Close-up of a flower with pink petals scattered, Abstract painting, oil painting, vignette, dark background
Establishing Shot, Trees with pink leaves scattering, Abstract painting, oil painting, vignette, dark background
Establishing Shot, Dead pink earth with a few dead trees, Dark cyan sky, nature, devastation, abstract painting, oil painting, vignette, dark background
Concept art, top half, pink haired 18 year old girl in white dress with stunned expression, pink wilderness image overlays, pink petals floating, backlit, wind blowing, dark background, vignette
Concept art, top half, pink haired 18 year old girl in white dress with stunned expression, pink wilderness image overlays, pink petals floating, backlit, wind blowing, dark background, vignette
Movie scene, wide angle shot, 18 year old girl with pink hair wearing a white dress with a stunned expression, sitting at a small table in a small house、Empty bottles, plates from, wooden table, wooden architecture, small house, window light, dark interior, solitude, silence
Film scene, one woman, taken by 35mm lens, vintage lens, 18 year old girl with pink hair in a white dress lying on a bed littered with books with an empty expression, bed, white sheets, loneliness, dark room, moonlight coming in, small bedroom, dark bedroom, vignette, sadness, loneliness, solitude, emptiness
Film scene, one woman, taken by 35mm lens, vintage lens, 18 year old girl with pink hair in a white dress lying on a bed littered with books with an empty expression, bed, white sheets, loneliness, dark room, moonlight coming in, small bedroom, dark bedroom, vignette, sadness, loneliness, solitude, emptiness
Film scene, one woman, long shot, 18 year old girl with pink hair in white dress watering small plants in garden with watering can, lonely back view, small house in wilderness, solitude, dim sky, skinny trees, pink leaves, pink clouds, cyan sky, dusk, slanted sun, vignette, cinematic lighting, sadness, solitude, loneliness, tranquility
Film scene, close-up, taken by telephoto lens, tip of a watering can on a frail, shriveled green bud, cyan background, dripping water, setting sun, dusk, cinematic lighting, vignette, sadness, solitude, loneliness, wistfulness, tranquility
A scene of movie, long shot, taken by telephoto lens, 18 year old girl with pink hair in white dress standing in front of a small plant growing on the ground, covering her face and crying, pink wilderness, solitude, dark sky, pink clouds, cyan sky, slanting sun, cinematic lighting
Film scene, one woman, long shot, full body, 18 year old girl with long pink hair in white dress sitting on the ground covering her face and crying, one green plant, small green flower, puddle at her feet, pink wilderness, cyan sky, pink clouds, dark sky, shaded sun, cinematic lighting, sadness, solitude, silence
Film scene, one woman, upper body, taken by telephoto lens, 18 year old woman with long pink hair in white dress curling her back and crying quietly, spilled tears glowing green, vacant lot, pink wilderness, only one small plant, dark sky, cyan sky, pink clouds, vignette, large tears, shaded sun , cinematic lighting, glowing contours, loss, sadness, loneliness
Film scene, one woman, upper body, taken by Leica Summilux 90mm, pink long haired 18 year old girl in white dress with tears, hands stacked in front of chest, quiet wind, cinematic lighting, glowing outline, dark sky, cyan sky, pink clouds, loneliness, sadness
Film scene, one woman, full body, taken by wide angle lens, 18 year old girl with pink hair in white dress crying covering her face, dripping tears glowing, small green flowers on ground, covering face, looking up angle, wind blowing quietly, cinematic lighting, glowing outline, dark sky, cyan sky, pink clouds, solitude, sadness
Film scene, taken by telephoto lens, close-up, macro photography, falling water droplets, backlighting, glowing outline, cyan sky, pink sky, vignette, slanting sun, cinematic lighting
Film scene, close-up, weakly shriveled green flower with droplets of water, vignette, backlight, cinematic lighting, dark, fragile, unreliable, solitary
Film scene, one woman, full body, taken by Leica Summilux 21mm, close-up, 18 year old girl with long pink hair in white dress kneeling on ground and shedding tears, green plants growing and spreading rapidly, sunrise, backlight, glowing outline, cyan sky, pink clouds, looking up, view from ground, dancing green leaves, dancing water drops, miracle, growth
Film scene, one woman, full body, taken by Leica Summilux 21mm, many green plants growing around 18 year old girl with long pink hair in white dress kneeling on ground, green leaves dancing, glowing droplets dancing, shiny green leaves, morning sun, backlight, glowing outline, blue sky, pink clouds, looking up, view from ground, miracle, growth
Movie scene, shot with macro lens, green-haired baby sleeping on top of many green plants, sunrise, morning dew, miracle, mysterious, bright, charming
Film scene, one baby, taken by Leica Noctilux-M 75, green-haired baby sitting on carpet of glowing green vegetation looking up at camera, sunrise, morning dew, bright light, glowing green, miracle, mysterious, bright, charming
Film scene, telephoto lens, full body, taken by Leica Summilux-M 90mm 3 year old girl in white dress with green hair waddling up to me on grass with many pink flowers, smiling face, warm light, lens flare, glowing outline, shining plants, water drops, dancing green leaves, beautiful detailed eyes, happiness, tenderness gentleness.
Film scene, taken by Leica Summilux 50mm lens, pink haired 18 year old girl in white dress holding pink haired 3 year old girl close to her cheek, tears in her eyes, looking at each other, smiles, lots of pink flowers and green plants, bright, morning sun, glowing outline, happiness, joy
Last scene of the movie, long shot, full body, taken by telephoto lens, 10 year old girl with dark green bob cut hair and 20 year old woman with long pink hair walking hand in hand, white dress, holding each other's hands, looking over, gentle breeze, smiling, looking at each other, tree with pink flowers, grassland, bright sky, bright clouds, shining earth, happiness, friendship, tranquility
動画の編集
Lightroomから出力した画像を、Davince Resolve Studioに読み込み、タイムラインを作成しました。
CoSoアプリから出力したマルチトラック素材のリズムトラックを、仮のガイドBGMとして並走させながら、各3フレームの4つのバリエーションの画像を、12フレーム=0.5秒の1つのループ素材として考えて、各カットの長さに応じてループを繰り返してタイムラインを構築しました。
タイムラインを構築しながら、不要なカットは削除し、不足しているカットの画像を生成しました。
画像同士のつながりをなめらかにするため、1フレームの半透明の画像を重ねて、次の画像との間にクロスディゾルブのような効果をつけました。
ブラックアウト、ホワイトアウトは、黒と白の単色クリップにフェードイン・アウトを設定して表現しました。
タイムライン全体にトーン調整とフィルター処理を行い、映画的なトーンを表現しました。
動画を書き出して再生し、テンポが悪いシーンはカットを短くし、エモーショナルな印象を与えたいシーンはカットを長くするなどして、何度も調整を行いました。
第一回AIアートグランプリへのエントリー
ギリギリまで微調整を試みて、第一回AIアートコンテストのエントリーフォームで作品を提出したのは、締め切りの1時間前にエントリーを完了しました。
ドキュメントの整理
エントリーフォームには、制作過程を記録したNotionのノートのURLを記しました。この記事は、そのノートを元に作成しています。
制作を急いだために精緻に記録していなかった部分を補完し、すべてのカットのプロンプトを整理して、MidjourneyのURLを記しました。
おわりに
今回のコンテストへのエントリーのために、「AIを使った、AIが作ったらしいアニメーションを作る」という課題を設定し、その解決のためにさまざまな学習と試行錯誤を行いました。
思い描いた通りの表現を実現するためには、まだまだ学習と試行が足りなかったと反省しています。次はもっと良い作品を作りたいと考えています。
私はまた、新しい課題を見つけ、学習と試行錯誤を行うでしょう。
この試行錯誤の過程が、私の今後の制作や、誰かのインスピレーションにつながるものになれば嬉しいと思い、ドキュメントとして公開しました。
最後までお読みいただきありがとうございました。
Referense
伝統的アニメーションの理解
画像生成
Midjourney/Memeplex(StableDiffusion)などの画像生成AIで思い通りの画像を出すヒント
https://note.com/shi3zblog/n/nc9a0d759abf7
https://note.com/shi3zblog/n/nc9a0d759abf7
Regal
