画像認識AI、音声信号処理を活用した解析・調整により、編集作業時間の40%削減に貢献

課題

「サントリー1万人の第九」は、MBS主催でベートヴェンの「第九」を1万人が合唱する、1983年から続いている音楽コンサート。

2020年からは新型コロナウイルス感染拡大防止のため、一般合唱団の会場参加を見送り、約1万件の合唱動画を会場のスクリーンで流す形で開催されています。

しかし、一般からの投稿動画のため撮影環境が違い、1万件を超える大量の動画データの編集作業時間が課題になっていました。

ソリューション

はじめに、モンスターラボは、動画を音声と映像の要素に分け、それぞれに活用すべき最適な技術を検討。

音声の調整では個々の動画で歌い出しが異なることがあり、全動画でタイミングを揃えることに時間がかかるため、複数の音声信号技術を用いる解決策を模索しました。

技術調査の結果、Cross-correlationを用いて音声波形から歌っているパートを割り出し、Signal processingを併用することで撮影時に混ざったノイズをカットすることに成功。さらに、撮影環境や声量の違いを整えるために仮説検証を繰り返し、一定の音域を特定して歌いだしのタイミングを合わせました。

また、映像の切り出しでは、全動画の被写体との画角を揃えるために画像認識AIを活用。撮影環境によっては背景に入り込んだ写真なども認識してしまうため、人物の動く範囲を一定の領域で捉えられるようにし、精度の高い抽出を可能にしました。