RSSフィードをもっと活用するためにLLMでニュースレター自動生成を試してる話

🐳この記事は「ログラスサマーアドベントカレンダー2023」の記事です。 明日はPRの檜山さんです。

はじめに

株式会社ログラスでソフトウェアエンジニアをしています、加賀谷です。
最近は生成AI/LLMチームの一員として、色々と暗中模索・試行錯誤しています。

生成AI/LLMチームとしては、最近は以下のような実験的な機能の開発を行っています。

• Natural Language User Interfaceを提供する
• • 自然言語レポート
• 自然言語処理エンジンとして
• • 表記揺れ検知
• データ変換エンジンとして
• • エクセル to LoglassプロダクトFMTファイルへの変換
• データ解釈エンジンとして
• • PLデータの解釈やサマリーを文章形式で提供

生成AI/LLMチームで何をやってきたかはまた別の機会として、今回は生成AI/LLM領域に取り組むにあたって、インプット、トレンドのキャッチアップのために最近作っているRSSフィード・ニュースレター自動生成について紹介します。

RSSフィード・ニュースレター自動生成

簡単に述べると、生成AI/LLM用のRSSフィードを作成し、RSSフィードを元に複数のニュースレター(風味のもの)を色々自動生成しています。

1. 有用・追っかけたいと思うブログ/サイトのRSSを追加・管理

2. 上記RSSフィードをslackチャンネルでサブスクライブ

3. RSSフィードを元に生成

ざっくり内部の処理フローは下記の通りです。記事にスコアをつけたり、テーマとの関連度を鑑みて取り上げる記事を選定するなどしています。

個人的にFeedlyを愛用しており、チーム・社内slackにもフィードを展開したい。が一から整備するのは辛い。
かつ自分以外のチームメンバーの興味範囲から良い感じに新しいサイトを収集・拡張したいのがモチベーションで、まずは生成AI/LLM用のRSSフィードを作り始めました。

とはいえRSSフィードは、最新情報を効率よくキャッチする手段として非常に便利ですが、そのままでは情報が流れてしまいがちです。
シンプルに記事を読みきれないと言う現象に対応するために、RSSフィードを元にニュースレターを無限に自動生成すれば良いんだ！というところに行き着きました。

何が嬉しいか

個人的な嬉しい点です。RSSフィードに対してタイトルだけ読む or 全て読む以外の選択肢が増えたことが、最もインプット改善に貢献してると感じています。

要約・まとめという選択肢が増えた

今までは基本的に流れてきたfeedのほとんどはそのまま流れるだけで、多くの記事はタイトルしか読めておらず、謎に罪悪感・勿体無い精神を発揮していました。
今でも全てのフィードを読んでるわけではないですが、勝手に要約・まとめてくれることで、記事本文を読む or タイトルだけ読む以外の選択肢が増えたことで、より多くの記事を追っかけやすくなりました。
サマリー部分に用語集を足す事で、わからない単語を調べる手間が省けるなど細かい工夫やチューニングも出来て地味に良い感じです。

とりあえずRSSフィードに追加し、後でテーマ毎に生成ができる

スクショの例では「LLMアプリケーション開発」をテーマに生成していますが、例えば競合・プロダクト情報やプロンプトなどのテーマを与えるとまた別の内容に仕上がります。
今までは暖かみのある手動運用でFeedlyのフォルダを整備したりしていましたが、今ではとりあえずオリジナル・単一のRSSフィードを管理し、そこから様々な切り口で生成することが可能になりました。

今後

まずはもっとニュースレターっぽい文面・構成にしたいというのもありつつ、それ以外にも便利かはさておきやってみたいことはあります。

• サマリー・要約改善
• • AIの要約性能を向上させるChain of Density（CoD）を試してみた
• レポート・考察
• • 外部リソース参照の上でレポート・考察的なのを生成
  • 理想はWatto AIとか
• 記事スコアのクオリティ
• • 様々な軸や関連情報を踏まえてスコアリング
  • e.g.) プラットフォーム上の記事であればいいね数、SEOスコア、etc…
• 様々な切り口・テーマ毎に生成
• • e.g.) 競合・プロダクト情報、社内生産性改善、プロンプト
• 表現形式の切り替え
• • e.g.) 動画・音声形式、漫画・小説仕立て
• 自己採点
• • 現状でもLLMにLLMのアウトプットを評価させているが色々改善したい
• AIエージェント同士が記事をベースに対談(GenerativeAgent)
• • 関連情報とか過去の記事とか発言踏まえた上で議論・コメントさせたい

まとめ

生成AI/LLM関連のRSSフィードをチームで育てて、かつそのフィードを元に複数のニュースレターをLLMで生成する事で、より快適にインプットを試みてる話をしました。

弊チームを振り返っても、Moreな部分はたくさんありますが、個人の熱意や関心に依存していた状態から、チームとして継続的に学んでいくプロセスに向き合い始めている状態で、細かく見ると以下のような取り組みも行っています。

• 専用チャンネルとslackスタンプを用いた収集
• 5分勉強会
• • 弊社のプロダクト組織で行なっている10分勉強会のLLMチーム版

• 毎週のレトロで満足にインプットが行えているか自己申告

引き続き有意義なインプットのために色々トライしていきたい所存です。

We are hiring!

エンジニアもPdMもデザイナーもCSもSalesも大募集中です！