女優クリステン・スチュワート（Kristen Stewart）は、サンダンス映画祭で短編映画『Come Swim』を発表し、監督・脚本家としてデビューした。このアート作品は同時に、クリステン・スチュワートの人工知能（AI）への関心の高さを示した。初監督作品でAIのクリエイティブなテクニックを用いた彼女の大胆さは、驚きをもって受け止められた。

発表された本作は、クリステン・スチュワート自らが描いた絵画をAIが認識し映像に反映させる目的で機械学習が活用されるという、AIとクリエイティブの融合が映画分野で実現した貴重なケースとなり密かに注目を集めている。そして先日、彼女のクリエイティブなアイデアと、製作チームが用いたテクニック｢ニューラル・スタイル・トランスファー｣を応用した映像制作のプロセスは、論文として発表されたのだ。スチュワートが共同執筆した論文はオンライン上でオープン化され、プレプリント専門アーカイブ｢ArXiv｣からフリーで読むことができる。

スチュワートと共に共著者に名を連ねているのは映画スタジオStarlight Studiosのプロデューサーと、Adobeの社員だ。

観客に想起して欲しい感情をアルゴリズムのパラメータに配分する

映像や画像を、絵画のスタイルへと変換するというAIの利用法はここ数年で爆発的に人気を集めた。その発端は、｢悪夢の画像｣とも呼ばれるほど賛否両論を起こした、グーグルのAIチームが人工ニューラルネットワーク｢ディープドリーム｣に生成させたサイケデリックな画像の数々だろう。さらに、日本でも注目を浴びたアプリ｢Prisma｣を覚えている読者も多いだろう。撮影した写真に映っている要素を理解し、アルゴリズムによって様々なスタイルの絵画風に変換してしまうというこのニューラル・ネットワーク・アプリは、ミュージックビデオや多くのアート作品や類似アプリのインスピレーションとなった。

映画『Come Swim』製作チームは同様の仕組みを映画に活用しようとしたようだ。論文ではAIが元の画像を認識し、映像に変換するまでのプロセスや使用した画像認識アルゴリズムが詳細に見ることができる。

Twilight star, @KristenStewart, has coauthored a paper on #AI technology used in her directorial debut "Come Swim". https://t.co/1WjVOFM4C5pic.twitter.com/mo7n1wL32v

— WVUMediaInno (@WVUMediaInno) February 1, 2017

論文では、AIを用いた背景を次のように記している。

『Come Swim』は水中に存在する、悲しみに満ちた男性を詩的に、印象主義的に描いた作品だ。映画自体が、眠りから覚める男性の絵画を元に制作されている。

｢ニューラル・スタイル・トランスファー｣をアーティスティックに利用するという新しい手法によって、映画のキーとなるいくつかのシーンを、絵画のスタイルで描き直している。それによって映画の基盤となった絵画をほぼ実現している。

絵画は目が覚める最初の瞬間に人間が持つ思考について呼び起こすものになっている（夢と現実の間の曖昧な状態）。そしてこの主題は映画の最初と最後のシーンで掘り下げられており、それらのシーンにこの（AIを使って映像を描き直すという）手法が適用された。

問題のショットの見た目はこの手法によって直接的に決定された。結果、2D構図においてより従来的な手法を使用する、そして観客に想起して欲しい感情をアルゴリズムのパラメータに配分する、という作業を行うことになった。

映画制作において、映像が湧き起こす感情をコントロールすることは決定的に重要である。そのクリエイティブな過程にAIが参加したのは非常に面白い。もちろん、良い悪いの判断をAIがしてくれるわけではないし、今回の作品の場合は元となる絵画がゴールとして存在していたわけだ。創作そのものが人間の手を離れるという類の話では決してない。しかしAIとアートがどんどんと接近していることが感じられるニュースだ。

Related Articles by FUZE
・AIが脚本を書く時代、｢クリエイティビティ｣はいつまで人間の特権か
・Avenged Sevenfold『The Stage』：人工知能に魅せられたヘヴィメタルバンドの現代への問いかけ

ヴァンパイアと人間の恋愛を描いた映画『トワイライト』（Twillight）シリーズで一躍トップスターとなったスチュワートだったが、『トワイライト』シリーズ以降はフランシス・コッポラ・プロデュースの『オン・ザ・ロード』を始め、数々の賞を受賞した『アリスのままで』、そしてウディ・アレン監督による『カフェ・ソサエティ』（日本では5月公開予定）と、アート性ある作品において演技の幅とクリエイターとのコラボレーションを広げてきた。『Come Swim』では、アヴァンギャルドな音楽性で人気のシンガーソングライター、セイント・ヴィンセント（St. Vincent）とのコラボレーションも実現させている。

I composed the soundtrack for Kristen Stewart's new short film Come Swim, which is also premiering at Sundance! https://t.co/ZE7rUmO206

— St. Vincent (@st_vincent) December 6, 2016

『Come Swim』でAIの機械学習という高度な映像テクニックに出会ったクリステン・スチュワートが、今後どのようにアートを追求していくのか、注目していきたい。