100時間かけて動画編集AIを作ったら、気が狂いそうになった。

「勝ち筋が見えました」──自信満々AIとの最初の衝突

動画編集の効率化を目指し、Google Driveに蓄積された既存の編集データをAIに読み込ませることにした。「学習元がいっぱいあるからすぐできるだろう」と楽観していたところ、AIは即座に「勝ち筋が見えました」と返答。ところが最初に出てきた動画は、映像と音声が完全にズレた状態だった。AIは自分が作った動画を実際には「見ずに作っている」。人間なら一目でわかる不気味なズレを認識できないまま、高らかに完成を宣言する──それが最初の「気持ち悪さ」だった。ズレ自体は指摘すればすぐ直ったが、次の問題がすぐ顔を出した。

テロップの22文字問題とマニュアルの威力

テロップを入れると、全セリフを詰め込んだ自動字幕のような状態になってしまう。AIはゆる哲学ラジオの編集データから「テロップの最大文字数は22文字」というルールを学習していた。しかし改行タイミングは無視して単純に22文字で切るため、「ゆるく楽しくおとど」「消するのがこのラジオです」と意味不明な箇所で切れ続けた。「勝ち筋が見えました」と毎回自信満々で出してくるAIに、苦笑いするしかない場面が続いた。

打開策は、編集者向けに用意してあった詳細なマニュアルをAIに読み込ませることだった。フォント・文字数・トンマナ・テロップの切り方まで言語化されたマニュアルを渡すと精度は大幅に向上。「テロップは端的に、不要な言葉をすべて落とすこと」という指示を忠実に守り、むしろ人間の編集者より要約精度が高いテロップを出力するようになった。「マニュアルをちゃんと書いてきてよかった」と実感した瞬間だった。

話者判定アルゴリズムが引き起こした全員・堀本発言問題

ゆるコンピュータ科学ラジオの素材に切り替えた段階で、新たな問題が発覚した。誰が喋っているかを示すアニメーションが、すべて堀本さんの発言として出力されてしまう。AIの内部ロジックを確認すると、「文字起こしの文字数が長い方のマイクの話者が喋っている」という判定をしていた。

2本のマイクを比較するアイデアは一見合理的だが、2人が同じ部屋で収録しているため、水野さんの声が堀本マイクにも漏れ込む。結果、堀本マイクの文字起こしが常に長くなり、すべてが「堀本の発言」と誤判定された。解決策はシンプルで、「音量が大きい方のマイクの話者が喋っている」と判定すればよい。指摘するとAIは即「じゃあ音量の大きい方にしますね」と答えた。「最初からそうしろ」と思ったが、この修正で判定精度は約85%まで向上した。ただし、笑い声や相づちのタイミングでカットが崩れる問題はその後もずっと尾を引いた。

右寄せテロップと「80点から100点」の壁

バージョン9程度でかなりのクオリティに達したため、「あと1週間で完璧になる」と確信した。ところが「0点から80点は比較的簡単、80点から100点は難しい」の法則どおり、細部の詰めに丸1か月を費やすことになった。

最大の難敵は右寄せテロップのはみ出し問題だ。ゆるコンピュータ科学ラジオでは話者によってテロップの配置が左右異なる。左寄せは座標の原点（左上）から描画するだけでよいが、右寄せはテロップ全体の文字幅を先に計算し、右端からその幅分を引いた位置を開始点にしなければならない。しかも平仮名・カタカナ・アルファベットでは文字の幅が微妙に異なる。AIは「今度こそできました」と言うたびに「カタカナの幅を忘れていました」「アルファベットの幅を忘れていました」と別の誤りを繰り返し、この一点だけでバージョンを20個以上積み重ねた。動画編集ソフトの「右寄せボタン」を押す方法も検討したが、AIがGUI操作をするにはボタン8個押すだけで15分かかるほどコストが高く、文字幅を数値で計算して直接描画する方が結果的に速いという結論に至った。