『鉄腕アトム』『ブラック・ジャック』『火の鳥』…手塚作品のキャラクターをAIで生み出す前代未聞のプロジェクトに挑む ― TEZUKA2020 VOL.4 Character ―

『鉄腕アトム』『ブラック・ジャック』
『火の鳥』…手塚作品のキャラクターをAIで生み出す前代未聞のプロジェクトに挑む ― TEZUKA2020 VOL.4 Character ―

手塚治虫が残した15万ページにおよぶ原稿データを学習したAIが、新たなキャラクターに命を与える————。『TEZUKA 2020』と名付けられたこの壮大なプロジェクトに果敢にも挑み、試行錯誤の末、実現へとつなげたクリエイター、研究者、技術者に話を聞いた。

“手塚らしい”キャラクターとは?

Macoto Tezka
手塚 眞
株式会社手塚プロダクション 取締役・ヴィジュアリスト

天才的な能力を持っていながら、普通の人間らしさもかね備える。
手塚治虫のキャラクターからは、妙なリアルさが感じられる

手塚作品のなかに登場する、個性豊かなキャラクターたち。彼らに匹敵するようなキャラクターデザインを生み出すためには、まず手塚治虫らしいキャラクターとは何かをAIに学習させる必要があった。そのため、山ほどある手塚作品のなかからキャラクターを抽出し、AIに学習させたが、「はじめは思ったようにことは進まなかった」と、手塚 眞氏は言う。

「いちばん最初に出てきた画像は顔にすらなっていなくて、僕らから見たらただの模様でしかありませんでした。今思えば、漫画の画を学習させるだけで、いきなりAIに手塚治虫のキャラクターを描かせようっていうのは無理がありすぎたのでしょう」

さらに、プロジェクトチームはキャラクターの持つ個性にも注目。手塚漫画の主人公をシンプルに分析してみると、2つのパターンに分かれることが分かった。

「ひとつは天才的な主人公パターン。とても力が強かったり、賢かったり。例えば、アトムは100万馬力のスーパーロボットだし、ブラックジャックは天才外科医です。もうひとつは、特殊な能力を持っていない普通の人たち。この主人公たちは、特殊な事件に巻き込まれても努力を重ねることで優秀な人間へと成長し、事件を解決へと導いていきます」

なかでも「TEZUKA 2020」に求められていたのは、前者の天才的な力を持ったキャラクター。その属性に当てはまりそうなデザインのキャラクターをAIが生み出せるのか、というのも課題だったという。

「スーパーマンみたいに何でも出来る人が、何でも出来そうな見た目ではおもしろくありません。だから、見た目は真逆で、もっとも能力がなさそうに見えるキャラクターがよかったんです。仕事もできない、もしかしたら住むところもないような人間がいたとして、そのキャラクターが活躍するっていうのは、すごく手塚作品らしいと思うんです」

さまざまな試行錯誤を経て、AIの精度が向上するなかで、とても驚かされたことがあったと眞氏は振り返る。

「AIには学習させていないのに、ある日、既存のキャラクターと非常によく似たキャラクターが生成されるようになったんです。弟子やアシスタントではなく、明らかに手塚治虫本人が描いたようなキャラクターがいくつも出てきたことには驚きました。AIの可能性をすごく実感させられた出来事でしたね」

手塚 眞

株式会社手塚プロダクション 取締役・ヴィジュアリスト

1961年、漫画家・手塚治虫の長男として生まれ、幼い頃から漫画やアニメを製作するクリエイティブな環境で育つ。このプロジェクトでは、唯一“手塚らしさ”を知る人物。1985年、映画『星くず兄弟の伝説』で商業映画監督デビュー。1999年には『白痴』でヴェネツィア国際映画祭デジタル・アワードを受賞。現在はヴィジュアリストという肩書きで、映画やアニメなど映像作品の監督を務める。新作『ばるぼら』が2020年公開予定。

もっと見る

AIが人間の真のパートナーとなる時代は来る

Masato Ishiwata
石渡 正人
株式会社手塚プロダクション クリエイティブ部部長

ひとりの作家が描いたようには思えない絵の幅広さ。
それこそが“手塚治虫らしさ”だと思います

今回、手塚プロダクションを代表するプロジェクトリーダーとして、「TEZUKA 2020」に携わった石渡正人氏。AIに学習させる資料の提供から、出版社との交渉、漫画制作に至るまで、計画を予定通りに進行するための要となった石渡氏の目に、このプロジェクトはどのように映ったのか。

「人とAIが力を合わせて、漫画を描く。この前人未到のプロジェクトに対するメンバーの士気の高さに、まず驚かされました。自分たちが新しい時代をつくるんだという想いをひしひしと感じて、いつの間にか僕自身も熱中していましたね」

そんな石渡氏に手塚治虫らしいキャラクターについて尋ねてみたところ、意外な答えが返ってきた。

「実は“手塚治虫らしさ”について聞かれると、少し困ってしまうんです。というのも、手塚は1946年のデビューから43年間絶えず執筆活動を続けており、発表する媒体も幼年誌から一般雑誌まで実にさまざまでした。僕も仕事柄、有名なキャラクターの集合絵の依頼を受けることがあるのですが、線の太さやタッチ、プロポーションなどが大きく異なるので、とてもひとりの作家が描いたようには見えません」

「時代、ジャンル、対象層のどこを切り取るかで、違った手塚治虫が存在する」と石渡氏は説明を加える。

「アトムにしても、ロボットだから身体が成長することはないのに、17年間の連載中にプロポーションが変わっているんですよ。これは、手塚治虫への過去のインタビュー記事にも残っているのですが、時流に合わせてアトムの頭身を変えていたそうです。ただ、どの時代においても、キャラクターを描く線の美しさだけは変わりません。直線であろうと、曲線であろうと、スピード感をもって迷うことなく終点まで引き切る。それが手塚治虫の持つ最大の特徴でしょう」

その一端は、今回のプロジェクトでも垣間見ることができた。アトムが人とロボットの共存を願っていたように、人とAIが互いに得意不得意を補完しながら漫画を描くことができたら。そんな空想をしてみると、未来がさらにおもしろいものに感じるという。

「AIについて世の中ではいろんなことが言われています。でも、うまく付き合うことができたらより良い作品づくりができるようになると思うんです。だからこれから先が、より楽しみになりました。AIが本当のパートナーになる日。僕はそんな日が来るのを待っています」

石渡 正人

株式会社手塚プロダクション クリエイティブ部部長

広告企画会社勤務を経て、2000年に株式会社手塚プロダクションに入社。クリエイティブ部部長を務める傍ら、東京富士大学客員教授、早稲田大学メディア文化研究所招聘研究員、アトム通貨実行委員会本部副会長などを兼務。好きな手塚治虫作品は『W3』と『火の鳥』。著書に『鉄腕アトムの軌跡』『地域通貨』『メディアの将来像を探る』『アトム通貨で描くコミュニティデザイン』などがある。

もっと見る

AIと人間が共創するコラボへと発展

Kazushi Mukaiyama
迎山 和司
公立はこだて未来大学教授

手塚治虫の描くキャラクターの顔は
AIからしてみれば顔ではないんです

迎山教授は、人間に代わってコンピューターに絵を描かせる研究を公立はこだて未来大学で行っている。

「私の研究を突き詰めていくと、コンピューターに置き換えられないものが残ると思うんです。それこそが、人間にしかできない“創造的なこと”であり、それを知るために現在も研究を続けています」

そんな迎山教授に一任されたのは、手塚プロから託された手塚治虫の原稿データを認識器でコマや吹き出しなどに振り分け、AIに学習させることだった。

「AIに機械学習をさせるためには、最初に顔というものが何であるかを教えなければいけません。しかも、手塚先生の描いたキャラクターはデフォルメされたものなので、これまで人間の顔を識別するために使っていた認識器では対応することができませんでした。結果として、自分たちで使えそうな絵を選んでいくことになったのですが、一つ二つではなく、下手したら1万単位の顔を用意する必要があります。これを学生と一緒に集めるところから作業はスタートしました」

作業は熾烈を極めた。まず『ブラック・ジャック』『火の鳥』『鉄腕アトム』といった作品から顔の画像を一つずつ抽出していくことにしたが、おそろしく膨大な時間が必要となった。この作業がひと段落すると、続いて他の作品にも着手することに。

「機械の融通の利かなさに苦労しましたね(笑)。手塚作品以外のキャラクターの顔や実在する人物の顔もAIに学習させたり、同じキャラクターでも左右を反転させて覚えさせたりといった試行錯誤を繰り返しました」

AIが導き出す画像の精度向上に向けて、さまざまな角度から挑んできた迎山教授。今回のプロジェクトに参画した感想について、次のようにコメントする。

「将来、AIが漫画を描けるようになったとしても、人間の創造性がゼロになるとは思っていません。なぜなら、漫画には作り手だけでなく、読み手がいるから。漫画はこれまでの歴史のなかで、新たな擬音や吹き出しの表現などを生み出してきましたが、それも読み手が受け入れないと定着しないんですね。今回のプロジェクトでも、それと同じようなことが起こる気がするんです。どこまでをAIが担って、どこまでを人が担うのか。そのスタンダードがいつか生まれると思います。もしかしたら1万年先になるかもしれませんが、そのときに人間の創造性がどうなっているのか楽しみです」

迎山 和司

公立はこだて未来大学教授

京都市立芸術大学大学院博士(後期)課程メディア・アート領域修了。1998年より客員芸術家としてカリフォルニア大学サンディエゴ校芸術電算研究所(現アーサー・C・クラーク・センター)に2年間滞在。2000年、プリ・アルスエレクトロニカ.net部門入賞。2011年、サンパウロFILE2011選出。2016年、パリ東大学マルヌ=ラ=ヴァレ校IMAC招待講師。創造行為の情報処理に興味を持ち、人工知能に絵を描かせることなどを通して、人間の認知的特性を調査・発表している。幼少期に『鉄腕アトム』を読んで漢字を覚えた。

もっと見る

前代未聞の挑戦に
試行錯誤を繰り返したキャラクター生成

  • 前代未聞の挑戦に試行錯誤を繰り返したキャラクター生成
  • 前代未聞の挑戦に試行錯誤を繰り返したキャラクター生成

AIが手塚らしいキャラクターを学ぶために用意されたのが、手塚治虫が残した15万ページに及ぶ原稿データ。これらは、はこだて未来大学にある認識器にかけられ、「コマ」「吹き出し」「顔」「体」に分類・タグ付けされた。生成される画像のクオリティを高めるため、画像を反転させて認識する枚数を増やしたり、女性キャラクターだけを読み込ませたりと、理想的な画像が生成されるまでスタッフは試行錯誤を繰り返した。

“転移学習”を用いてキャラクター生成に突破口を開く

Satoshi Kurihara
栗原 聡
慶應義塾大学 理工学部 教授/電気通信大学 人工知能最先端研究センター 特任教授

AIでモノクロ漫画を生成させるのは初の試み。
僕らとしても、未知のチャレンジの連続でした

今回のプロジェクトにおいては、いかにして絵とシナリオから、AIが手塚らしさを学習するためのデータを抽出するか。また、そのデータを使い、手塚らしさを学習したAIに対して、どのように新しいプロットや絵を生成させるのかが技術チームに課された役割だった。当初、キャラクター画像の生成については、既存の技術を応用する戦略を採用したが、さまざまな難問に突き当たったという。

「今回の画像生成に使ったAIは、膨大な数の顔画像を入力することで“顔”という特徴を学習し、世の中にはないけれども極めてリアルな人間の顔を生成することができる、というものです。そのAIに対して、まずはシンプルに手塚治虫が描いたキャラクターだけを学習させていきました。AIに漫画のモノクロの線画を生成させるという取り組み自体が、恐らく初めての試みだと思います。僕らとしても未知のチャレンジでした」

その結果だけを言えば、思い描いたとおりのキャラクターを生成できなかったわけだが、栗原教授は「想定内だった」という。

「最初からキレイな顔の画像が生成できると思っていませんでしたね。ただ、顔のようでいて顔じゃないものなんだけれど、そこには確かに手塚らしさは出ていたと思うんです。当初はそれを人間が汲み取ってキャラクターに仕上げていくというゴールもあるだろうとは思っていました」

手塚漫画にはキャラクターの正面カットが極端に少なかったため、手塚治虫らしさを学ばせるには、やはり限界があったともいう。

「とはいえ、人間の顔であればかなり完成度の高いものを生成できるAIを使っているのだから、もう少し顔らしいものを作らないとマズイ……という空気感があったのも事実です(笑)。そこで、キオクシアさんの協力の下、転移学習という技術を用いて、何十万人という人間の顔のデータで学習したAIが獲得した顔の特徴のデータを利用することにしたのです」

この発想によってプロジェクトが再び前へと動き出すことになるのだが、そこに至るまでには長い道のりがあった。

「かなり色々と試行錯誤をした紆余曲折の結果として、転移学習を使うことに至った過程は、今思うとおもしろい展開ではありましたね」

栗原 聡

慶應義塾大学 理工学部 教授/電気通信大学 人工知能最先端研究センター 特任教授

慶應義塾大学大学院 理工学研究科を卒業後、NTT基礎研究所、大阪大学 産業科学研究所准教授、電気通信大学大学院 情報理工学研究科教授を経て現職。博士(工学)。好きな手塚作品は『ジャングル大帝』、『リボンの騎士』、『ブラック・ジャック』。ストーリーや設定が心に刺さったという。著書『人工知能と社会(オーム社)』、編集『人工知能学事典(共立出版)』など多数。近著は『AI兵器と未来社会 キラーロボットの正体(朝日新書)』。

もっと見る

限りなく手塚治虫に近いキャラを生み出す
GANのディープラーニングとは

GANのアーキテクチャ

キャラクター生成の核となるのが、“本物らしさ”を学習することで本物に限りなく近い画像を生成することができる敵対的生成ネットワーク、通称GAN(Generative Adversarial Networks/ギャン)というAI技術だ。
生成したデータが入力されたデータと近いかを自らが識別し、識別器が入力されたデータと区別できないほど、さらに高いクオリティのデータを生成するという、まさに“敵対的”に学習を進めていくというもの。
生成と識別を繰り返すことで、生成データとそっくりなデータを出力できるようになる。キオクシアでは本来、半導体の設計・製造品質の向上に用いているこのシステムだが、当プロジェクトではキャラクター生成に応用した。
しかし、そう簡単にはいかないのがAIの難しさであり、おもしろいところでもある。「TEZUKA 2020」では、手塚らしさを学習させたGANを、さらに2種類のAIに取り込んでキャラクター生成を試みた。その結果が以下の3つである。

【GAN①】

  • GAN①
  • 最初に提案されたGANでは一度の処理で顔全体の画像を生成させるため、ディテール部分での完成度が高いとはいえなかった。そこで、輪郭といった粗い部分から段階的に目鼻口などの細かい部分を生成させる新しい手法を利用することで、より完成度の高い画像の生成を試みたのがGAN①。はじめに約4500枚の画像を学習させてみると画像のような生成結果が得られたが、この後に学習済みの画像を左右反転、さらに回転させたデータも学習させることで、約4倍となる約1万8000枚のデータを学習。学習データが増えるほど精度が向上するため、これにより大きく進歩した。

【GAN②】

  • GAN②
  • しかし、それでもまだ理想にはほど遠い。そこで今度は手塚漫画の女性キャラクターのみを採用して、一から学習させてみることに。女性キャラクターは整った絵柄が多かったためか、比較的良好な結果が得られた。その後、キャラクター画像を混合して学習させるなど、さまざまなアプローチが試みられた。

【GAN③】

  • GAN③
  • 最終的に大きな決定打となったのが「転移学習」という技術の導入だった。人間の顔の特徴とは何か、ということを数十万枚規模のデータから学習済みのAIに、手塚漫画のキャラクターを追加学習という形で学ばせた。すると破綻のない手塚らしいキャラクターが生成されるようになり、プロジェクトが大きく進展。この中から『ぱいどん』が生まれたのである。

開発のプロとしての意地がプロジェクトを前進させる

Atsushi Kunimatsu
国松 敦
キオクシア株式会社 cSSD技術部

実写の人間の顔をAIに転移学習させたことが、
プロジェクトを大きく進展させるキッカケとなりました

手塚漫画のキャラクターを学習した初期のAIは、チームメンバーが期待するようなキャラクターを生成することができずにいた。プロジェクトチームはAIへのフィードバックを繰り返して改善を図ったが、ブレイクスルーとなったのが「転移学習」を導入するという発想の転換だった。そもそも転移学習とはどういった技術なのか?

「簡単に言うと二段階で学習するということ。当初行っていた、AIに手塚漫画だけを学ばせるのは一段階の学習。それを、そもそも漫画は人間の顔を二次元化したものなのだから、人間の顔の構造を実写画像で先に学ばせてから、手塚漫画を学ばせてみよう、ということをやったんです」と語るのはこの技術を提唱したキオクシアの国松敦。

本来であれば、手塚漫画のデータだけを何十万枚も学習させるのがいちばん良い方法であると思われた。しかし、手塚漫画には正面から描いた顔がほとんどないことなど、学習に適したデータが想定よりも少なかったことで、上手くキャラクターが生成できないという状態から抜け出せずにいた。

そこで国松は、手塚漫画データ以外からの転移学習を提案。深夜の研究室で熱い議論が交わされたが、「上手くいかないだろう」という意見の方が多かったという。しかし、バックアッププランの重要性を含めて説明し、推し進めた。

「大きいプロジェクトになればなるほど、そうした想定外のことはつきもの。だからこそ、メインの軸とは別にプランB、プランCのバックアップを用意しておくことが大切なんですね。無駄になってしまうかもしれないですが、世界で初めてチャレンジしているのですから、当然です。もちろん、保険を掛けすぎて保険金貧乏になってしまっては本末転倒ですが(笑)。私たちキオクシアは開発のプロフェッショナルです。だからこそ、うまくいかなかったときのためのバックアッププランも考えておこう、という感覚が染みついていたのかもしれませんね」

転移学習の導入により“手塚らしいキャラクター”が生成できるようになったことで、プロジェクトは大きく動き出す。実はこの時、実写画像だけでなくアニメやイラストの顔からの転移学習も試みたという。品質や安定性は良好だったのだが、手塚治虫が実際の人の顔を見てキャラクターイメージを作成していたという事実を重要視し、採用しなかったという。

「長い間進展がなかったタイミングでもあったので、素直に驚きました。でも、こういった地道な一歩の積み重ねが、将来の技術に繋がっていくと信じています。さらにはその技術が漫画やアニメといった日本を代表するカルチャーを後押しできる日が来ると、素晴らしいですよね」

国松 敦

キオクシア株式会社 cSSD技術部

キオクシア株式会社の技術者として「TEZUKA 2020」に参加。キャラクター生成における技術のアイデアを出し、プロジェクトをリードした存在。普段はSSD(フラッシュメモリ)の開発に携わっている。手塚作品に初めて触れたのは、小学校とき。図書館で『ブラック・ジャック』や『ジャングル大帝』など、多くの作品を読んだ。古代の遺跡が好きだったため『三つ目がとおる』がいちばんのお気に入り。

もっと見る

問題解決のカギとなった
「転移学習」とは?

問題解決のカギとなった「転移学習」とは?

転移学習とは、ある領域を学習したモデルを、別の領域に適応させる技術のこと……、といっても難しいかもしれないが、今回のプロジェクトに当てはめると、「人間の顔の構造を学習したモデル」に「手塚漫画を学習したモデル」を適応(追加学習)させる、ということになる。
従来は真っさらなAIに手塚漫画のキャラクターだけを学習させ、新しいキャラクターを生み出そうとしていたのに対し、転移学習では、すでに人間の顔を描くことができるAIに手塚漫画のキャラクターを学習させている。
そもそもAIというのは、学習するデータ量が多いほど生成されるデータのクオリティも上がるもの。手塚漫画のみでは数万枚が限界だったが、人間の顔画像は数十万枚から学んでいる。転移学習によって学習量が劇的にアップしたことが成功のカギだったのだ。

キャラクターの精度を上げた最後のチャレンジ

Atsushi Nakajima
中島 篤
キオクシア株式会社 メモリ技術研究所 システム技術研究開発センター

複数の個性を掛け合わせ、より独創的なキャラを生み出す。
そこに未来の漫画を見た気がします

足踏み状態だったプロジェクトを、再び前に進ませた転移学習。ターニングポイントとなったこのアイデアが、実際にはどのように行われたのか。そして、その先に試みたもう一つのチャレンジとは何だったのか?

「まず転移学習ですが、当初は私もうまくいくか疑問を持っていました。というのも、リアルな人間とデフォルメされた漫画の顔では、情報量に圧倒的な差がありますから。例えば、人間の頬には肌の色があり、その色の濃淡や印影といった情報が含まれていますが、漫画ではただ真っ白いだけです。それは情報が何もないことと同じなので、AIとしては顔のどの部位なのかが判別しにくい状態になってしまうはずなんですね」と実務を担当したキオクシアの中島 篤は振り返る。

しかし、予想に反して結果は上手くいった。その理由をいろいろと推測したものの「結局、わからないんですよ……」という中島。AIがどんな計算をしているのか、流れを一つひとつ追っていくことは可能だ。だが、なぜ上手くキャラクターが生成できたのかについては、意外にも解明できていないという。

上手くいったことは事実だが、ひとつ懸念点があったという。ストーリーに合うキャラクターが生成されるかどうか、だ。すでにストーリーの大枠は決まっており、“目力のあるキャラクター”が求められていたが、なかなか理想的なものが生成されずにいた。

「そこで試みたのが、“転移学習から生まれたキャラクターたちの個性を掛け合わせる”という方法です。この方法を用いることで、キャラクターの特徴を別のキャラクターに反映することが可能になりました。具体的には、任意のキャラクターの目だけを他のキャラクターの目に寄せたり、二つのキャラクターを足して割ったような、中間的なキャラクターを生み出すというようなことです」

今回『ぱいどん』に登場する主要なキャラクターの原案は、すべてAIが生み出した。中島はそこに、漫画の未来を垣間見たという。

「いつになるかはわかりませんが、AIだけで漫画が作れるようになる未来は、きっと来ると思います。例えば、気に入らない展開があれば、そこをAIと連携を図りながらストーリーを共に創り上げていく。そんな漫画の作り方が、当たり前になっているかもしれませんね」

中島 篤

キオクシア株式会社 メモリ技術研究所 システム技術研究開発センター

テレビやレコーダーの開発などを経て、現職に至る。生産や設計の効率化に機械学習を応用、なかでも学習効率化のための画像生成に関する業務を行っており、「TEZUKA 2020」では転移学習のアイデアを実践した。手塚治虫の存在を、小学校の教科書で知った世代。子どもの頃に観たアニメ版『三つ目がとおる』が好きで、「困難に直面したときに、自分で工夫しどうにか解決していく」ストーリーにワクワクしていた。

もっと見る

異なる個性を掛け合わせることで、
よりストーリーに適したキャラクターの生成が可能に

“キャラクターたちの個性を掛け合わせる”ことにより、これまでにない特徴を持つキャラクターを創り出せることがわかった。その仕組みは、二つのキャラクターを掛け合わせる割合を段階的に変えていくことで、いくつものバリエーションを生み出すというもの。実際にはどのようなものなのか、GIFアニメーションとともに紹介しよう。

異なる個性を掛け合わせることで、よりストーリーに適したキャラクターの生成が可能に 異なる個性を掛け合わせることで、よりストーリーに適したキャラクターの生成が可能に

実際に生成したなかから抜き出した画像がこちら。全体的な雰囲気はそのままに、細部の特徴だけが変化していく様がわかる。

掲載している内容とプロフィールは取材当時のものです(2020年2月)