2月20日と少し前ですが、ICCのスタートアップカタパルトにて、新しく「正答率95%保証のAIチャットボット」をリリースしました。
ありがたいことですが、多くのお問い合わせをいただいている状況ですので、1件1件対応していければと思います。
実はこのサービスは一度方針転換して、これからは「10名以上のカスタマーサポートのチーム向けに、お問い合わせの一次対応の自動化」にフォーカスしていきます。
昨年2017年10月24日にβ版を提供開始したのですが、当初は「数多くの企業に、安く(月額9,800円)簡単にAIを使っていただく」というコンセプトで開始、3ヶ月ほど営業をしていたのですが、お客様の数も一桁前半であまり順調とは言えない結果でした。
9,800円時代に感じた課題は単純にオンボーディングがハードル、つまりAIの設計と教師データの作成が簡単ではなく、挫折する、というものでした。
AIチャットボットにおける自動応答を実施するためのステップは下記の3つです。
①AIを実装した場合のカスタマーサポート全体の全体設計。具体的にはどの範囲の問い合わせでAIを利用するか、AI以外のテクノロジーを利用するか、人間で対応するか、各種FAQとの連携はどうするか、という全体設計が必要です。また、それぞれの改善活動を実施するための測定項目(KPI)も決めます。
②AIで対応する範囲のデータ前処理。具体的には1つの会話カード(弊社で読んでいる用語です。FAQの1項目の単位です)に付属する教師データの作成。1会話カードあたり、最低でも10〜20件、基本的に50件以上、作成します。
③トレーニングをして運用開始
という流れで、やはり①と②が、なかなか簡単に進まないことがわかりました。カスタマーサポートの現場の方はお忙しい、というのと全体を俯瞰して改めて業務設計している時間もない(AI入れて効果出るかわからないし・・・という気持ちもあったかと思います)、という状況だったのと。
もう一点、教師データ作成のコツも、テクノロジーの理解をした上で実施しないと「ただ単に大量のデータが集まりました」という状況で、精度が上がりづらいという課題が見えてきました。
そこで、私達は、初期の構築を全て面倒見るという選択肢を選びました。
弊社が上記の3ステップを全て一緒にフォローして正答率をコミットします。
弊社が定義しているBOTのKPIは、
(1)正答率・・・準備した回答に対する質問の正解率
(2)カバー率・・・質問のうち回答を準備できている率
(3)解決率・・・回答でユーザーの問題が解決した率
(4)BOT会話数・・・BOTがどれだけ活躍したかの数値
(5)有人転換率・・・有人対応を実施している場合はAI→人への転換率
あたりが基本的な指標として考えています。その(1)を保証するというプランとなります。
どこまで保証するのか?という点においてはAIチャットボットがデビューする前に未知の質問でテストをして100問中95問正解で正答率95%、となります。(実際にはFAQデータ量に応じてテスト問題数は変動します)
簡単にいうと、入学試験のような意味合いです。合格して初めて入学(ボットの場合はリリース)することができます。
ただし、人間でも入学してからの成績がいいかは、その後の話なので、AIチャットボットにおいても、リリース後の正答率や各種KPIの改善は運用次第、となります。(運用のコツなどは別途お話します)
少し長くなりましたが、「業界初!正答率95%を保証する成果にコミットするAIチャットボット Karakuri」をこれからもよろしくお願いします。