コンピュータビジョン×機械学習によるクリエイティブ制作の自動化！

【ABEMAとクリエイティブ】 「ABEMA」では、オリジナルドラマや恋愛番組、アニメ、スポーツなど、多彩なジャンルの番組を配信しています。視聴者が自分の好みに合った番組を見つけやすくするためには、番組の魅力を的確に伝えるクリエイティブの最適化が非常に重要です。これまで私たちのクリエイティブチームでは、A/Bテストを用いた効果検証やユーザーにとって相性の良いクリエイティブを選択する最適化に取り組んできました。 https://speakerdeck.com/cyberagentdevelopers/abemaniokerukurieiteibujian-zheng-toopehuo-yong しかし、配信される番組が多様化する中、 映像データや撮影現場で撮影したスチール画像など大量のメディアデータを活用し、アートワーク（クリエイティブ）を自動生成する ことが次の大きなチャレンジとなっています。具体的には下記のような自動化技術を検討・実装していただきます。 ・画像クロッピング ：顔や重要な被写体を効果的に捉えたサムネイルの自動生成 ・テキストキャプション配置 ：番組タイトルやキャッチコピーなどの文字要素を最適なレイアウトで自動配置 ・画像タギング ：画像内の人物やオブジェクトを自動検出し、タグ付けする技術の開発 上記の取り組みを通じて、番組の魅力が視聴者に伝わるクリエイティブをスピーディーかつ大規模に生成し、ABEMAの視聴体験をさらに向上させたいと考えています。 【本ポジションのミッション】 1. コンピュータビジョン x 機械学習による画像分析・生成 ・映像解析AI基盤「MediaAnalyzer」への実装番組素材や撮影スチール、映像から抽出したフレームなどを活用し、クリエイティブ自動生成に必要な情報（構図・背景・人物・キーワードなど）を抽出するモデルを開発します。 ・画像の構図、被写体の特徴をもとに自動クロップを行うアルゴリズムや、最適なサムネイル画像を選定するモデルを開発します。 2. 映像解析AI基盤「MediaAnalyzer」への実装 ・ABEMA独自開発のメディア解析基盤「MediaAnalyzer」上に、機械学習モデルを実装し、大量の映像・画像を並列・分散処理する仕組みを構築します。 　https://developers.cyberagent.co.jp/blog/archives/52738/ ・長尺映像、スチール写真など多種多様なメディアソースに対して、高精度かつスケーラブルに処理を実行し、自動生成クリエイティブを素早く提供できる環境を整備します。 ・分散処理やジョブ管理システム（AWS Step Functions・Lambda など）を活用しながら、GPU／CPUリソースを最適に活用するパイプラインを設計・運用します。 3. オンライン画像編集ツールとのインテグレーション ・抽出・生成されたメタデータや画像を、オンライン画像編集ツールに連携します。 ・編集者やデザイナーが、生成結果を即座に確認・修正できる仕組みを提供し、クリエイティブ品質を高めるサイクルを素早く回せるようにします。 ・現場からのフィードバックをもとにアルゴリズムを継続改善し、人手での作業と自動生成を組み合わせた効率的なクリエイティブ制作体制を実現します。 【必須スキル】 ◎PythonやRを用いた機械学習モデルの開発経験（画像認識やコンピュータビジョンの基礎的知識） ◎統計・機械学習の基本的な理解（回帰や分類、深層学習フレームワーク（TensorFlow/PyTorchなど）の利用経験） ◎大規模データを扱う基盤システムの概念理解（DockerやAWS等のクラウド環境での開発、コンテナ化・デプロイの経験） ◎ビジネス視点の提案力（番組やコンテンツの魅力を伝えるための要件を抽出し、機械学習・アルゴリズム観点で解決策を提示できる） 【歓迎スキル】 ◯分散処理やジョブ管理システム（Step Functions、Airflow など）の利用経験 ◯HLSなどのストリーミング技術に関する知識・開発経験 ◯Deep Learningを用いた画像生成・文生成、マルチモーダル解析技術に関する研究・ 【就業条件】 ・2ヶ月〜3ヶ月（30営業日以上 / 週3日、6時間稼働 or 週2日、8時間稼働想定) ・期間や稼働時間などは応相談 ・PC貸与 【応募の流れ】 ・上記で興味がある点が1つでもあれば、「話を聞きに行きたい」からエントリーをお願いします。 ・エントリー後、メッセージで面談のご案内をさせていただきます。