名探偵ホームズに Zoom に登場してもらいました

最近話題になっているオンライン会議アプリの Zoom は私には他人事だとおもっていましたが、息子の保育園の保護者会が Zoom で行われることになりました。そこでこれを機に Zoom 関連のテクニックを研究中です。

その中で気になっていたのが「バ美肉」です。要は、ビデオ会話で自分の顔の代わりにアニメの美少女キャラをアバターとしてしまう手法のことです。

バ美肉のことを知るとひらめきました。Zoom でホームズ関係のキャラをアバターにすれば面白いのではないか！？ （もちろん、これは遊び目的です。保護者会は普通に自分の顔で Zoom を使います。）

最初にやってみようとおもったのが、Avatarify というディープフェイクです。これは写真を元に Zoom のアバターを生成できるツールです。例えば「コナン・ドイルを 21 世紀に蘇らせたら面白そう！」とひらめきました。

alievk/avatarify： Avatars for Zoom, Skype and other video-conferencing apps.
https://github.com/alievk/avatarify

Avatarify を使う方法は２つあり、１つは高額なパソコンパーツを購入する必要があり、もう１つはパーツは不要ですがややこしいコンピューターのスキルが必要。どちらも厳しそうなので諦めました。

写真を動かせないなら、やはりバ美肉しかありません。イラストのホームズを Zoom で動かしたいじゃないですか。（正確には美少女ではないので、バ美肉ではなく「アバターとして使う」と表現するのが正しいです。）

調べたところ、あらかじめアバター用のデータが用意された美少女を動かすぶんには比較的簡単に実現できそうです。でも、私がやりたいのは自分の好きなキャラ（＝ホームズ）を動かすこと。好きなアバターを Zoom で実現する際に最もハードルが高いのは、「いかにしてアバター用のデータを作るか」ということが分かりました。

お金をかけず、私のコンピューター・スキルで実現できそうな方法をいろいろ調べてやっと分かりました。それは Adobe Character Animator を使う方法です。Adobe Character Animator は好きな画像を、ウェブカメラで撮影する自分の映像に合わせて動かすことができるのです。画像は Photoshop あるいは Illustrator で作成すればよく、これなら私にもできます。（私は Adobe Creative Cloud に加入しているので、追加料金なしで Adobe Character Animator が使えます。）

Adobe Character Animator
https://www.adobe.com/jp/products/character-animator.html

簡単に仕組みを説明すると、Photoshop あるいは Illustrator で素材画像を作ってAdobe Character Animator に取り込み、その映像を CamTwist や OBS Studio といった仮想カメラアプリを通して Zoom の映像入力ソースにするのです。

CamTwist
http://camtwiststudio.com/

Open Broadcaster Software | OBS
https://obsproject.com/

ということで、Zoom 用アバターを作ることにしました。

最初にやろうとしたのは、シドニー・パジェットのホームズのイラストを動かすことです。「パジェットのホームズを 21 世紀に蘇らせたら面白そう！」とおもったのです（さっきも似たようなことを書いたような気がします）。

ただ、Adobe Character Animator で読み込む画像は体のパーツごとにレイヤー分けする必要があり、口の形も自分で描いたりして用意しなければいけません。要するに比較的単純な画像でないとアバターにするのは難しいのです。パジェットのイラストをパーツ分けしたり、口の形をいろいろ変えたりするのは難しそうなので諦めました。

何か他に動かせるキャラクターはいないかと考えたところ、「名探偵ホームズ」がいることを思い出しました。犬のホームズです。あれなら比較的単純な顔なので操作しやすそう。

こうしてアニメを元に頑張って画像を作り、初めて使う Adobe Character Animator の使い方を勉強しつつアバターを作成。OBS Studio を通して、最終的に Zoom で名探偵ホームズを動かせました。

実際に Zoom で動かしている映像は以下のような感じです。

名探偵ホームズが Zoom にやってきた！ - YouTube
https://www.youtube.com/watch?v=WZ1tsxuR0TM

名探偵ホームズの声真似をしているつもりですが、似ていません。

ポイントは、ウェブカメラで撮影する自分の動きとリアルタイムに同期していることです。Zoom のようなビデオ通話や YouTube の生放送等で生で動かしてこそ楽しめます。OBS Studio を使って背景に動画を入れるのも簡単です。

会議アプリとして Zoom 以外にも Google Meet でもできました。Skype などでも普通に使えるはずです。FaceTime に関しては仕様上、仮想カメラが使えないのでできませんでした。FaceTime は家族との会話でよく使うので、FaceTime で使えたらいいなとおもいます。

苦労してアバターを作りましたが、Zoom でアバターを使う機会がないことが最大の悩みです・・・。