Media Services: Use AWS AI services to automate captioning & subtitling (Japanese)

via AWS Skill Builder

Overview

このラボでは、Amazon Web Services (AWS) の AI サービスを使用して動画ワークフローのプロトタイプを作成します。このワークフローでは、キャプション、別言語の字幕、別言語の音声トラックを自動的に生成します。Amazon Transcribe、Amazon Translate、Amazon Polly を使用してこれらのタスクを実行します。

ワークフローと要件

このラボには、音声付きの既存の動画アセットが用意されています。キャプション、別言語の字幕、別言語の音声トラックを追加することで、視聴者を増やし、規制に対応したいと考えています。このシステムを自動化したいと考えていますが、まずはワークフローのプロトタイプを作成する必要があります。

音声付き動画を入力として使用する
自動化されたサービスを利用して音声を文字に起こす
トランスクリプトを使用して、一般的な形式のキャプションファイルを作成する
前に作成したトランスクリプトを翻訳する
翻訳を使用して、一般的な形式の字幕ファイルを作成する
テキスト読み上げを使用して、翻訳されたトランスクリプトを適切なタイミングが指定された音声ファイルに変換する
元の動画と音声、キャプションファイル、字幕ファイル、生成された音声ファイルを、ストリーミングに対応した 1 つの Apple HTTP Live Streaming (HLS) スタックにまとめる

AWS の AI サービスとメディアサービスの知識に基づいて、以下のようなプロセスのワークフローを定義しました。

このラボのワークフロー

AWS の AI サービスを使用して、元の画像のキャプション、別言語の字幕、別言語の音声トラックを作成するために必要なコンポーネントを自動的に生成します。その後、AWS Elemental MediaConvert を使用してコンポーネントをつなぎ合わせ、Apple HLS スタックを作成します。

取り上げるトピック

このラボを修了すると、以下のことができるようになります。

AWS の AI サービス（Amazon Transcribe、Amazon Translate、Amazon Polly）を使用して、キャプション、別言語の字幕、別言語の音声トラックの生成を自動化するプロセスを作成する
Amazon Transcribe を使用して動画のトランスクリプトを生成する
Amazon Translate を使用してトランスクリプトを別の言語に翻訳する
Amazon Polly を使用して別言語のトランスクリプトを別言語の音声に変換する
AWS Elemental MediaConvert を使用して Apple HLS スタックを作成する
ビデオプレイヤーで音声、キャプション、字幕が意図したとおりに動作することを検証する