「それぞれの立場の人が、自然発生的に集まったプロジェクト」いいチームインタビュー7

クラウドワークス今期のスローガンである「いいチームをつくりましょう」を体現しているチームにインタビュー！第7回は、サービス上の悪質な違反案件を、機械学習の開発・実装により自動検出したプロジェクトメンバーを代表し、プロダクト開発Div.ユーザーサポートの小野さん（写真左）、エンジニアの沢田さん（写真中央）、八木さん（写真右）にお話しを伺いました！

「5連休の初日は、違反案件と戦って、1日が終わってしまいましたね」

―今回のプロジェクトのきっかけはなんだったのでしょうか？

小野：違反報告自体は昔から一定数あって、都度ユーザーサポートが目視チェックしていたんだけれど、4月末あたりにさらに多くなり、ユーザーさんから違反報告もバンバン来て。「この状況はあまりにもひどい」と、本格的に対策に取り組みだしたのが5月頭、ゴールデンウィークのあたりです。

八木：最初は「案件チェック強化しませんか」と声を掛け、ユーザーサポートグループの酒井さんと一緒に深夜まで案件の非公開作業をしていました。ゴールデンウィーク5連休の初日は、違反案件と戦って、1日が終わってしまいましたね。

小野： 機械学習が実装される前は「手動でいかに早く案件を止められるか」がミッションでした。そのために八木さんに相談して、まずゴールデンウィーク明けに、社内用管理画面を新たに作ってもらいました。結果、1件に5分ほど掛かっていた処理が、全件一瞬で完了…あの時は神が現れたと思いましたね。

沢田：機械学習チームもその時まだプロジェクトには入っていませんでした。もっと言うと実は最初半分ネタくらいの感じで考えていたんです。「もし違反案件を機械学習で処理させたら結果が出るんだろう」と。違反案件に掛ける人手をゼロにするのは難しいけれど、少なくすることはできると思っていたので。そうしたら4月末ころに違反案件数が膨大になり、八木さんたちが本格的に案件撲滅に取り組みだすように。その少し後に、一緒にやろうと話を持ち掛けた感じです。

八木：本当に大変だったので「早く全力で機械学習入れてくれないかなー」と思っていたら、そこから1週間ほど、5月下旬には運用に乗ってきたので驚きました。

​​小野：今はまず機械学習が違反案件と思われるものを検出、その後にユーザーサポートが目視して最終的な公開・非公開を決定。これまで人間が掛けていた時間は変わらず、10倍以上の案件を検出できるようになりました。検出精度も日々の学習で向上していて、最初は25％くらいの適合率だったのが、今では90％近くにまで上がっています。

「ミーティングもほぼなし、バラバラに活動しても上手くまとまった」

―開発にあたり大変だった部分はどこでしたか？

沢田：機械学習に学習させるために違反案件のデータを読み込ませていくのですが、どれが違反なのかの判別が自分で付けられないところですかね。検出された案件の文面を見ても本当に違反かどうか分からなくて。その部分はサポートグループに助けを借りました。誰かの指揮下のもというプロジェクトではなく、ミーティングもなかったのですが、連携はスムーズでストレスもなかったですね。

​​小野：みんなの席がたまたま近かったこともあり、運用しながら「ここどうですか」と気軽に相談し合いながら進めていけた感じです。

八木：お互いが自分の持ち場に集中してバラバラに活動しても上手くまとまってましたね。これでミーティングばっかりとかだとスピードも落ちるし、しんどかったと思います。

小野さん：それぞれの立場の人間が「やらなきゃ」と自然発生的に集まれたのが良かったんでしょうね。

沢田：正直ここまで成果が出るとは思っていなかったですが、サポートの人たちの手間が減ったのを実感できたのは良かったです。近くで見ているとやはり4月末の時と雰囲気が違います。違反案件ではない部分に集中できるようになってきている。

小野：通常の問い合わせに対応はできても、例えばFAQの改善など「より良くしていく」という攻めにまで着手することは難しかった。体感値としても違反案件がサービス上に出る数は減ってきていて、仕事のマッチング率も向上している。とは言えまだ始まったばかり。本当に成果を感じられるのはもう少し先ですね。SNSなどでユーザーさんに「怪しい」と言われてしまうのは悲しいですし、他サービスでも昔は怪しい情報が上がっていたが今はクリーンなイメージになっているものもたくさんある。クラウドソーシングもそこを目指していきたいですね。

―それぞれの立場から同じゴールに向かったからこその結果なんですね！今後の施策も楽しみにしています！小野さん、八木さん、沢田さんありがとうございました！