スマホ1台でVチューバー　ソニー、AR作成容易に ナイアンティックも提供

男性がスマホのカメラに向かって細かく指を動かすと、画面に映った女性のアニメのアバター（分身）が同じように指を動かす――。

ソニーグループ傘下のソニーセミコンダクタソリューションズが開発して公開したソフト「ToF AR」を使うと、ARの技術で簡単に動くアニメキャラクターになりきることができる。

Vチューバーはカメラやセンサーを使って配信者の顔の表情や体の動作をキャラクターにリアルタイムに反映させ、生身ではなく、アニメ調のCGのキャラクターを動かして動画配信する。

これまでVチューバーになるためには腕や頭に取り付けるセンサーや専用の撮影機材を取りそろえ、20万～30万円かかることもあったが、手持ちのスマホだけで済む。これまで難しかった指など細かい動作も把握する。

現実のカメラの映像をアニメ調に変えて動かしたり、実際にはない3次元モデルを表示させたりするこうした手法はAR技術を使っている。

ARソフトの開発や配信で劇的にハードルが下がっているのは、ソフトの開発に加えハードの改良も大きい。スマホの背面カメラの横には「LiDAR（ライダー）」やそれに類似する目に見えない赤外線レーザーを照射して跳ね返ってきた時間で距離や物体の形状がわかるセンサーが搭載された機種が増えてきた。

米グーグルのOS（基本ソフト）「アンドロイド」搭載スマホに加え、米アップルもiPhoneへ搭載を拡大しており、この部品を使うことでARの精度が高まっている。ソニーセミコンダクタ自身もセンサーに強みを持つ。

ToF ARは自由にアプリ開発者などが使うことができるため、今後体の動きを使ったゲームの開発のほか、ARを使ったサービス開発がしやすくなる。3次元モデルを使った商品展示やショーケース、産業利用などに用途が広がる。

人気ARゲームの「ポケモンGO」を手掛けるナイアンティックもARの技術を月額料金などで外部に提供することでAR開発のハードルを下げようとしている。

ナイアンティックは街にある建物などをカメラで写すと数センチ単位で位置を認識する「ビジュアル・ポジショニング・システム」という技術を持つ。例えば人気キャラクターのピカチュウを肩にのせて東京タワーの前で記念撮影するといった仕組みを可能にしている。この技術を外部でも使えるようにし、例えばカメラで写した建物の上に3次元データのキャラクターやエフェクトを自然な形で配置できる。現在は世界6都市で利用が可能で、年内には100都市に拡大する予定だ。

ほかにもカメラのみで奥行きを計算する技術や、動画に何が映っているかを判断する人工知能（AI）も提供する。ゲーム開発プラットフォームの「ユニティー」や、インターネット上で技術を無料もしくは定額課金で提供する。

ナイアンティックの河合敬一最高プロダクト責任者（CPO）は「スマホで手軽に体験できるようにすることで、ARの普及を進める」と話す。ARではメガネ型端末が期待されているが、現在でも十分に普及しているスマホを活用することでより身近につかってもらう狙いだ。

米画像加工ソフト大手のアドビも9月からスマホを使っていろいろな角度から写真を撮ると、写真を組み合わせて3次元モデルを簡単に作成できるソフトを提供する。靴や家具などの商品を3次元モデル化して、スマホを使って浮き出るバーチャルショールームの作成などが容易になる。

従来3次元データはゲームや映像作品などのエンターテインメント向けが中心となってきたが、アドビ日本法人の宇野香織シニアマネージャーは「新型コロナウイルスの拡大後、アパレルや自動車メーカー、電子商取引（EC）からの引き合いが増えた」と話す。同技術でARなどに使う素材の作成コストを10分の1に削減できる。安価な支援ソフトの登場で中小事業者にもARの利用を促しそうだ。