RAGを使ったチャットボットがすごい！安い！

お久しぶりです。お盆やら決算やらいろいろあってしばらく記事をかけておりませんでした。

生成AIの活用がんばってます！

弊社では生成AIの活用を進めています。learningBOXの中では、クイズ・テスト生成、コース生成、不正対策、レポート分析などで活用していますし、learningBOXの外でもAIクイズ生成で生成AIを活用しています。learningBOXは開発力のある会社だと自負しておりますが、それにしたって、作れる量には限りがあります。ということで、今回は外部のプロダクトを使って社内にAIの展開を進めている件についてお話します。

Assistant API

2023年11月に、OpenAIが提供するGPTシリーズにAssistant APIが実装されました。Assitant APIを使うと、ベクトルストアに登録したファイルを適宜参照して（これをRAG=retrieval augmented generationといいます）解答するチャットボットを作ることができます。ベクトルストアには、PDFやテキストファイルなど様々な形式（現時点で21のファイル形式）のファイルをアップロードできます。つまり、ファイルをアップロードするだけで、その中の情報を使って対応してくれるチャットボットを作れるのです。

というようなことは、春ごろには気が付いており、簡単なWebフォームを使った実験をし、社内向けであればこれでも使えそうという感触をつかめていたのですが、弊社のサイトの一般訪問者に向けて提供するUIを作るとなると時間かかるし、国内のサービスだと月額数十万円以上の利用料金がかかり運用に投入することができていませんでした。

また、春の時点ではGPT-4oやGPT-4o miniなど安価で賢いモデルが登場しておらず、コスト的に導入しづらいという問題点もありました。RAGでデータを取得して処理させると、すぐに1万トークン単位で消費してしまうため、GPT-4 Turboでは費用がつらく、GPT-3.5 Turboでは回答精度が不十分といった状態でした。

OpenAssistantGPT - 安いやつ

OpenAssistantGPTは、Assistant APIを使ってチャットボットを作るサービスで自分でサーバを立てて運用してもよいし、お金を払うとホスティングを代行してくれます。そして、ホスティング費用が安いです。びっくりするぐらい安いです。チャットボットを9個まで作れるBasicプランは月額9USDです。もう少し活用が進んだ段階で27USDのPROに切り替えようかなと思っていますが、いったん、月額9USDのプランで検証を進めています。

Usage - 何につかうのか

顧客対応

一番期待している使い道は、learningBOXのサイトに埋め込んでお問い合わせに回答させるという使い方です。弊社では、電話やメールによるお問い合わせも受け付けておりますが、休みの日や夜間などどうしてもすぐには対応できないこともあります。また、サービスを安く提供し続けるためにも、顧客サポートの効率化は欠かせません。（今までもチャットボットを設置していたことがあったのですが、出来が悪くて消されました。そうイルカのように）現代の生成AIの力があれば、完璧とまではいわなくても、しっかり役にたつサポートボットを作れそうで、現在、公開に向けてサポートチームが試行錯誤しております。

社内ナレッジ

社内のマニュアルや手順書、ノウハウなんかを入れておくと、それを参照して適切に解答してくれます。試しに500ページを超えるPDFを登録してみたのですが、ちゃんと中身に従って回答してくれました。どれぐらいの資料までちゃんと理解してもらえるのか、どのぐらいのAPI利用料がかかるのかなどは検証中ですが、GPT4o-miniを使っている分にはコストはほとんど問題ないように感じています。