スワブロをご覧いただきありがとうございます。

スワローのデザイン&マーケティングを担当している「ちゃんゆか」です。

 

本日は、みなさんが大好きな「AI(人工知能)」の回ですよ！

 

ちなみに、スピルバーグ映画の「A.I」は、観たことありますか？

当時(2001年)、故キューブリック監督との共作ということで話題になったので、観た方が多いのでは？と思います。

 

 

ママを愛し、ママに愛されるだけをプログラミングされた「ロボット(AI)」が、

ママに捨てられてしまい、本当にママに愛されるために「人間になりたい」と旅をする、ザックリそんな映画です。

 

この映画を観ると、ロボットはひたむきで、人間はエゴの塊で、

非常に胸が苦しくなります。

 

公開時のキャッチはスピルバーグなだけに「感動作」だったけど、とてもそうは思えない…

原案のキューブリック節が効きすぎてて、ちゃんゆか的には結構エグられる内容だと。

（↑ちなキューブリック大好物）

 

とにかく子役時代の、めっちゃかわいい「ハーレイ・ジョエル・オスメント君」の、

怪演に近いとんでもない「名演技」を見ることが出来ますので、観てない方はもちろん、しばらく観てない方にもおすすめです。

 

ロボットやAIが身近になったからこその、鑑賞後の気持ちに変化があると思います。

個人的には、今も昔も「ジュード・ロウ」が演じる「ジゴロ・ジョー(ロボット)」が大好き。

 

さて、ちゃんゆかの映画話はそこそこに、今回の本題に入っていきたいと思います。

 

 

 

★「AI(人工知能)」が動画を「漫画」に変換してくれる「Comixify」とは

 

今回は、「GAN（敵対的生成ネットワーク）」と生成モデルを用いて

「動画」→「漫画」を生成するサービス「Comixify」を紹介したいと思います。

 

「GAN」は、「この 10 年間でもっともおもしろいアイデア」と言われた

ディープラーニング業界でもホットな注目の研究ですので、

「GAN」について詳しく知りたい方はGoogle先生に聞いてみてね。←

 

 

・「動画」→「漫画」に変換する仕組み

 

「Comixify」を利用すると、「25分以内の動画」を「10コマ程度の漫画」に変換してくれます。

 

その仕組みは2段階に分かれており、

————————————————

①「強化学習」をもとにした「キーフレーム抽出アルゴリズム」を用いて

　動画から「ストーリーの要となるキーフレーム」をピックアップ

②そのピックアップされたキーフレームのスタイルを「漫画調」のイラストに変換

————————————————

と言う流れです。

 

となると、①でピックアップされるキーフレームが、わたしたち「ヒト」がピックアップする箇所と同じであれば、このAIは優れていると言う判断になりますね。

 

これって、「感覚」な気がしますよね～？

果たして本当にそんなこと、できるのでしょうか？

 

 

 

★「Comixify」で「動画」を「漫画」に変換してみよう！

 

・「Comixify」の使い方

 

「Comixify」は現在、「WEBサイト上」または「API」を用いて

「動画」→「漫画」に変換することができます。

 

今回はお手軽に、「Comixify」のWEBサイト上に動画をアップして検証してみます。

 

 

変換に使用できる動画は、

————————————————

Web→100MB、25分以下

API→50MB以下、25分以下

————————————————

となっています。

 

では、動画をアップロードしてみましょう。

サイト中ほどの、「Demo」の部分へ進んでください。

 

 

①好きな画風を選ぶ

仕上がりの「漫画」の画風を、以下の「4テイスト」から選ぶことができます。

 

・ComixGAN（オリジナル）

・ComixGAN-Archer（アメコミ風かな）

・Cartoon-Hayao（ジブリの・・・）

・Cartoon-Hosoda（時をかける少女の・・・）

 

なんだか日本の「アニメ」が海外からも高い評価を受け、愛されていることがわかるラインナップですね。

ちゃんゆかは今回「Cartoon-Hayao」をチョイスしてみましたよ。

 

 

②動画をアップロードする

上の画像の箇所から、画像をドロップor選択、

もしくは「YouTube」などの動画サービスの動画URLをペーストして

最後に「RUN」ボタンを押せば変換開始です！

 

 

 

★「Comixify」で「動画」を「漫画」に変換してみた！！

 

今回ちゃんゆかが満を持してYouTubeから選んだ動画はこちら↓

三代目 J SOUL BROTHERS from EXILE TRIBE / 「R.Y.U.S.E.I.」Music Video

 

 

本当はドラマとか映画みたいな「ストーリー」のあるものが良いのでしょうが

ちょっとそんな手持ちムービーもなく、YouTubeにもあがってないので（あがってたらあかん）

みんなが知ってるであろう割と最近に一斉を風靡したPVをチョイスしてみました。

 

 

三代目 J SOUL BROTHERSについてちゃんゆかが知っている（思っている）こと

 

・EXILEから派生しているとても人気のあるグループ

・ダンスと歌がイケイケ

・雰囲気もきっとイケイケ

・多分「オミくん」と呼ばれる「登坂広臣」が1番人気

 

すごい大体なので、追加情報として下記を調べました。

 

＊追加情報

・メンバーは7人

・リーダーはナオキ

 

よし、これでほぼ三代目 J SOUL BROTHERSファンです。

明日から三代目 J SOUL BROTHERSを語れることでしょう。

 

そして今回の検証で大事な「感覚」の部分を共有しておきますね。

 

 

「R.Y.U.S.E.I.」のPVを観てちゃんゆかがピックアップするとこ

 

・RYUSEIのメインダンス

これが流行ったのですから、ここは外せないですよね。

 

・「オミくん」にスポット

多分ですけど1番人気があるはずなので、ここも外せませんね。

 

・車やバイクでカッコつけてるとこ

前半はこれらのシーンがメインっぽいので、ピックアップされているといいですね。

 

・クラブでみんなアゲ↑感じ

後半はこのシーンがメインっぽいので、ぜひピックアップして欲しいところ

 

この辺りをピックアップできていて、ちゃんと時系列になっていれば

「Comixify」のサービスは優れていると判断できそうです。

 

PVは、「全4:59」。

果たして、どうなるでしょうか？？

 

 

できた、ドン！！！

 

わ！！それっぽいのできたけど

ジブリ感は1mmも感じない！！！！！！！！

 

でも非常にそれっぽいのができましたね。

 

しかも、人物のお口には「漫画」と言うだけあって「吹き出し」がついてます！！

コメントが編集できるみたいなので、せっかくだから適当に入れてみよう。

 

 

よし、いいのができました。

では一コマずつ、動画と照らし合わせながら見ていきましょう。

 

————————————————

①冒頭のタイトル画面

②0:54   オープンカーで歌ってる多分オミくん

③0:56   クルーザーに乗ってる多分ナオト

④1:16    ハーレーらしきバイクで手をあげている多分Zipの山下健二郎

⑤2:02   RYUSEIダンスが終わった一瞬

⑥2:17   オミくんのソロ

⑦2:31   オープンカーをバックにダンスしてる多分岩ちゃん

⑧2:44   踊りだす前のしゃがんでる多分岩ちゃん

⑨3:31   クルーザーの上でいちゃついてる多分ナオト

⑩4:44   クラブでのダンスシーンが終わってからのハーレーを降りてソロダンスの山下健二郎

---

 

 

おおぉぉぉ、数枚様子おかしいけど、悪くないクオリティ！！！

時系列も完璧です！！！

 

あと、わたし三代目のメンバーがだいたいしかわからないwww

 

残念ながら、メンバー7人中3人は漫画に登場しませんでしたが

10コマなので、これは仕方ないですかね。

 

 

 

①「R.Y.U.S.E.I.」が消えかかっていますが「R.Y.U.Sなんとか」であることはわかりますね。

 

④ちょうど多分山下健二郎が手をあげるとこを切り取っているのはすごいです。

 

⑤惜しいwwww惜しすぎるwwww

なぜ手をあげている時間のほうが長いのに、終わったとこを切り取ったのかwww

 

 

でも、このシーンがキーであると言うのはわかっていたようですね。すごい（気がする）ですね。

 

 

⑥さすがですね、「Comixify」のAIもちゃんゆか同様に「オミくん」が推しではないか？とわかったようです。バッチリカメラ目線の「オミくん」をクローズアップしてくれました。

 

⑦⑧ 多分「岩ちゃん」も人気だと思うのですが、やたら渋いダンスシーンのピックアップになりました。

 

⑨ このPVにおいてそんなに重要じゃなかった気がしますが、AIにとっては重要だったようです。w

 

⑩これはすみませんけど、AIのミステイクじゃないかとwww

このシーンの前に、クラブでメンバーみんなが散々キレッキレで踊っていて間違いなくピックアップシーンだったと思うので、「このソロ」よりは、絶対そっちだったと思いますwww

 

 

 

★終わりに

とても手軽に「動画」→「漫画」に変換してくれる「Comixify」、いかがでしたでしょうか？

 

ちゃんゆか的には、精度は「中の上」程度だけど、完成されてないからこそすごく面白かったwww って感想です。

 

最後まで読んでくださったあなたも、ぜひお気に入りの動画で試してみてくださいね。

 

ただし、アップした動画は当然収集されているはずなので、くれぐれもプライベートすぎる動画をあげないように注意されたしです！

 

それではまた次回！

 

 

「ダンスは他の人の足を踏まないように音楽に合わせて動くことである。ほとんど人生と同じだ。」

By ユカバート・ブロー