Diff2Lipという新たな技術が注目を集めています。これは俳優の口の動きを、音声に合わせて変化させるAI技術であり、ある種のAIリップ・ペインティング・モデルです。特に映画の外国語への吹き替えがより簡単かつ音声と同期したリアルな口の動きを可能にします。すなわちリップ・シンクロナイゼーション Lip Synchronization (lip-sync) のAI技術です。
画像生成AIで使われているDiffusionモデルを活用してノイズを取り除き、新しい口の画像を生成するわけですが、このAIモデルは画質、オーディオとの同期、フレーム間の一貫性のために最適化されています。
Diff2Lipは映画の外国語への吹き替えだけでなく、任意の人間（写真でもアニメでもよい）や動物がリアルに話す動画を作る作業を単純化することができます。
Diff2Lipについては、2023年8月18に提出されたSoumik Mukhopadhyay et.alの以下の論文に詳しく書かれています。
Diff2Lip: Audio Conditioned Diffusion Models for Lip-Synchronization
by Soumik Mukhopadhyay, Saksham Suri, Ravi Teja Gadde, Abhinav Shrivastava
参照： https://arxiv.org/abs/2308.09716
この論文の著者名は全員インド人と推測しますが、最近、生成AIの周辺の論文は中国人とインド人が主著者となっているものが急増しているように見えます。AIの根幹部分の技術は長年の蓄積と資本力がものを言うのでGAFAM及び欧米企業が握っていますが、周辺技術部分で研究者数の多い国々が勢力を増すのは当然の流れかもしれません。日本は国家としてよほど力を入れないと、AIの技術開発でマイナーな存在として取り残されることになる恐れがあります。
＊＊＊
Lip Synchronizationの技術は元々俳優・声優がすべきことをAIに代替させるものであり、その成果であるオーディオ・ビジュアルな映像の肖像権・知的所有権が誰に帰属するのかが微妙になり、俳優・声優との契約で明記する必要があると考えられます。
これに限らずAIは映像制作の様々な局面にじわじわと変化をもたらしつつあり、今後AI技術の進化に伴って問題は深刻化していくことでしょう。
ハリウッドではAIに職を奪われることに反発して2023年5月に脚本家組合がストライキを行い、7月には俳優組合がストライキに加わったとのニュースが流れました。アメリカでは早くもChatGPTが映画業界で職域を侵し始めたのだろうかと驚いて、原文（英文のニュース記事）を読んだところ、脚本家・俳優の組合が問題にしているのはNetflixなどの配信型ビジネスモデルの拡大の結果、彼らの収入が減少したことであり、ChatGPTなどの生成AI自体が直接の争点ではないようです。
しかし、現実問題としてAI技術は映像技術の現場で既に大いに活用されており、今後さまざまな分野で映画業界に劇的な変化を及ぼすのは確実であり、特に脚本家・俳優にとって深刻なので、簡単に問題が決着することはないように思えます。
ハリウッドで働く人々は具体的にAIからどのような被害を受ける可能性があるのでしょうか？ 職種ごとにまとめてみましょう。
脚本の生成: AIは物語や脚本を生成することができます。これが実現すれば、脚本家の仕事が減少する可能性があります。
映画の編集: AIを使用すると、映像の編集や音楽の選択を最適化することができます。編集者や音鿳デザイナーの役割が変わるか、または不要になる可能性があります。
視覚効果 (VFX): AIは視覚効果を自動で生成することもできます。これにより、VFXアーティストの必要性が低下する恐れがあります。
映画の配役: AIはキャスティングの選択を助けるために使用されることも考えられます。これはキャスティングディレクターの役割を変える可能性があります。
音楽の作成: AIは映画やテレビ番組のためのオリジナルの音楽を作成することもできます。これにより、作曲家や音楽プロデューサーの仕事の性質や需要が変わる可能性があります。
予測分析: AIは映画のヒット予測や観客の反応を予測することもできます。これが実現すれば、マーケティングやプロモーションの戦略が変わる可能性があります。
ディープフェイク技術: この技術により、実際の俳優を使用せずに、過去の映画のシーンを再現したり、新しいシーンを作成することも考えられます。これは俳優や監督の役割に影響を及ぼす可能性があります。
ハリウッドの労働者たちが感じる不安や懸念は十分理解できます。AI技術の進化は避けられないものであり、それに伴う職種の変化を考慮することが重要です。