「点数付け」の責任に向き合う。AppBrewがLIPSのレーティングを進化させる理由とは？

（※この記事は2022年10月4日に弊社noteに掲載した内容となっております。）

2022年10月、AppBrewでは「LIPS」においてレーティングのアルゴリズム刷新を行った旨の発表（https://prtimes.jp/main/html/rd/p/000000076.000018721.html
）を行いました。今回の変更に当たっては、株式会社エコノミクスデザイン様の監修のもと、より“LIPSらしい”点数付けのための数式を強く意識しています。
最近のレーティング業界を取り巻く環境や、「点数をつける」という行為の責任について、株式会社エコノミクスデザイン 共同創業者である慶應義塾大学経済学部 坂井豊貴先生と、株式会社AppBrew取締役CTOである堀江慧が対談しました。

ーー今回のテーマである“レーティング”ですが、あまり聞き慣れない言葉です。コスメはもちろん、飲食店や家電、本などのレビューにおいて「星の数」で商品やサービスをスコア付けして表現すること、という理解であっていますか。
 
堀江：その通りです。一般に、ユーザーがつけた評点（星の数）を平均して表示していると思われがちですが、単純に平均値をとるだけでは色々な問題や課題が出てくるため、それを補正するためのルール、つまり数式を作っていくのが「レーティング」のキモといえます。例えば、発売されたばかりでまだレビューが数個しか付いていないアイテムについて、単純に平均値を表示する方法だと、極端な点数を表示してしまう可能性が高くなりますよね。ですから、LIPSではそういった状況の商品では点数の高低を調整して表示する…といった計算方式を採用しています。

ーーLIPSの星の数、たくさんのユーザーがつけた評価の「平均値」だと思っていました！例えば特定のブランドの商品の評価を高くしたり、下げたりもできるということですか。
 
堀江：理論上はそうですが、ご指摘のような恣意的な操作が起こらないよう、フェアなロジック作りを強く意識しています。ただ、点数の操作の意図や悪意がなかったとしても、結果的にそうなってしまう可能性もあります。例えば、ランキング上位がいつも同じ商品ばかりで変化がない…という状況が続けば、ユーザーさんへ「新たな商品との出合い＝セレンディピティ」を提供したい運営側としては、新商品や注目のデパコスの点数が高くなるようにレーティングを操作（調整）したくなってしまいます。
そこでこのたび、AppBrewでは「レーティング」について専門的な知見をお持ちの慶應義塾大学 坂井先生をはじめ、エコノミクスデザイン様に、外部の第三者としてLIPSにおけるクチコミの商品評価点数の算出方法刷新プロジェクトに参画をお願いすることにしました。
 
坂井：直近ですと、某有名グルメサイトレーティングについて訴訟の判決があり、大きな話題になりました。そのグルメサイトは、あるときチェーン店をチェーン店だという理由だけで大きく減点したのではないか、それは差別的な取り扱いだといった原告側の主張が認められた模様です。判決文がまだ公開されていないので、状況から判断するとですが。
原告の方にお話を伺う機会があったのですが、「チェーン店だということで差別をしないでほしい、フェアに評価して欲しい」といった声を聞きました。自分の店に低い点数を付けるなと言いたいのではなくて、点数を付けるならフェアにやってくれということです。重い訴えだと思いました。
 
堀江：なにが「差別」で、なにが「区別」なのか。なにが許され、なにが許されないのか。サービス作りに向き合いながら、その線引きの曖昧さと、レーティングの難しさを感じています。
 
坂井：明らかな「ブラック」と「ホワイト」はたくさんあるので、それだけでもかなり対応できると考えています。たとえば、「ある特定の人種が経営する飲食店」「女性店員がいるショップ」の評点を一律に引き下げる、これは明らかにアウトだということは、みなさん感覚的におわかりいただけるでしょう。
グレーの線引きについては、ひとつひとつを丁寧に検討したり、時代にあわせてアップデートしたりしていく必要があります。これは専門家でないと難しいと思う。今後、レーティングを提供する企業は、差別や権利の研究者に検証を求めたり、社外に独立したチェック委員会を作ったりして、自社のレーティングが倫理的に問題ないか、検証していく時代になると予想しています。

ーー「点数をつけるプラットフォーム側」には、サービス運営にあたってそれなりの覚悟が求められるということですね。
 
坂井：すでにレーティングは市民生活に浸透し、「民間企業が担う社会インフラ」となりつつあります。この分野で事業を行う企業は、通信簿を付ける先生のように、重い責任を負っているのですね。
この点AppBrewはレーティングというものに真剣に向き合っていると思いました。私どもはアルゴリズム改善のために、既存のアルゴリズムについて教えていただきましたが、ものすごく丁寧に考えられたものでした。堀江さんはどうしてそこまでの熱量をもってレーティングに取り組んでいらっしゃったのですか？
 
堀江：LIPSのサービス開始当初、星の数は単純な平均値を出していました。しかし、その後はレーティングの専門書を読んで勉強し、学術的知見も取り入れながらアルゴリズムのアップデートを続けてきました。消費者の信頼に足るものを提供し続けることこそが、サービスの長期的な繁栄につながると信じているからです。
 
坂井：印象的だったのは、点数と、点数の信頼性の扱いです。点数と、その点数の信頼性は、別物です。統計学では、求めた係数と、その信頼性を別個に表記するように。しかしレーティングで両者を分けて表記すると、数がふたつということで、統計学に慣れたユーザー以外には、非常に分かりにくくなってしまう。そこでLIPSでは「レビュー数が少ないアイテムの点数は、極端に高くなったり低くなったりしないようにする」工夫をしていました。こういうのは現場の知恵といえばそうなのですが、誰もがよい知恵を出せるわけではありません。
 
堀江：ありがとうございます。これまで、LIPSの「星の数」を信頼して、コスメを購入しているというたくさんのユーザーさんと向き合ってきました。その方々に対して、「間違った評価」を示すリスクは最小限にしたい、と社員のみんなで話し合ってきた結果です。
 
坂井：今回AppBrewはエコノミクスデザインとの協働で、アルゴリズムを改訂しました。テクニカルには、それなりに大きな変更もあるかもしれません。しかし、いま堀江さんが語ってくださったような根本の精神は引き継げているというか、その精神をより鮮明にアルゴリズムに表現するというのが、私たちが取り組んだことかと思います。
AppBrewのように根本の精神がきっちりしている場合、私は学術的な知見に基づき、その精神を関数で書き表せばよいだけです。プロジェクトを理屈で進められるので、非常にサポートしやすかったです。

慶應義塾大学経済学部 坂井豊貴先生

ーー 一方で、AppBrew社がいかにレーティングについて真摯に向き合っているか、ユーザーの方に伝える方法には苦慮しています。今回刷新した計算式を公開しても、ユーザーの方に理解していただくのは難しそうです。
 
坂井：アルゴリズムの設計には、主に「厚生経済学」の知見を活用しています。経済学は指標を多く扱う学問で、GDPは豊かさの指標ですし、ジニ係数は所得格差の指標です。それら指標を設計することを、厚生経済学ではやっています。ただ、大学などの授業では指標を読むことまではやっても、設計することまではやらないので、経済学部出身でもこの分野に詳しい方は非常に稀だと思います。
 

ーー坂井先生は、LIPSのように、点数や評価を表示するプラットフォームにおいて、レーティングのアルゴリズムや数式は、広く一般に公開したほうがいいとお考えですか。
 
坂井：点数をつけるというのは非常に権力性が強い行為ですから、それに伴う「説明責任」が発生するというのが私の考えです。その説明責任の果たし方とは、レーティングの理屈や方針を丁寧に公開することだと思います。細部全てを公開すると逆に分かりにくくなるので、塩梅の調整は大切ですが。
実務の観点からは、アルゴリズムを全て公開することで、レーティングがハックされる危険があります。ユーザーへの説明責任を果たそうとしたらハックされた、では本末転倒ですから、そのリスクを考慮したうえで、公開の方法や範囲を限定するなど、有効な対策も求められます。
 
堀江：今回のLIPSの変更についても、「レビューが少ない商品の評価が極端な値にならないようにします」「いつも低い点数をつけている方からの高評価はより強い高評価だと考えます」というように方針を公開するということですね。今後、アルゴリズムの概要も公開したいと思っています。

ーー国際的なプラットフォーマー（Google、TikTokなど）には表示ロジックの公開が求められるなど、時代の流れとしてはユーザーへの説明が重視される方向にいきつつありますね。
 
坂井：説明責任を果たし、エビデンスを示さないと認められない時代に突入したということでしょう。企業のポリシーメイキングの重要性がより注目されており、それをどう世の中に発信していくかが問われる時代となりました。
 
堀江：家電や本と違い、コスメの評価は個人の感覚に拠るところも大きいです。みなさん理解いただけると思いますが、化粧品は個人の肌質や好みによって評価が大きく分かれることがあり、そこを上手く補正するのがAppBrewが取り組むべきレーティングだと考えています。
 
坂井：我々エコノミクスデザイン社にもご相談が増えていますし、課題を感じる企業は増えている。社会的な役割もますます大きくなり、レーティングの重要性は今後ますます高まっていくと考えています。

株式会社AppBrew取締役CTO　堀江慧

ーー最後に、AppBrewおよびLIPSのレーティングについて、今後の展望をお聞かせください。
 
堀江：今回、点数付けを活用するプラットフォーマーとしてレーティングに対する姿勢を公表できたことは、業界に対して一石を投じる事ができたのではないかと思っています。
今後についてですが、現時点ではLIPSはひとつの商品に対して1種類の点数の表示ですが、閲覧するユーザーによって表示を変えることは理論上可能です。乾燥肌の人には★4.5、対して脂性肌の人には★3.0など…一種のパーソナライゼーションにも挑戦していきたいと考えています。
 
坂井：エコノミクスデザインとしては、外部企業である我々が、定期的にLIPSのレーティングロジックのモニタリングを行うことでユーザーのみなさんに対してフェアな点数付けであることを保証しつづけていきたいと思っています。
AppBrewは、ユーザーの役に立つことを目指す、という姿勢がブレないのは素晴らしいですよね。何をやりたいかの姿勢がブレていると、学知の社会実装といっても、結局は場当たり的な判断や、つぎはぎ的な意思決定になって、よいものはできないです。
 
堀江：「ユーザーファースト」は、AppBrewの行動指針のひとつでもありますので、専門家の方からも評価いただけて嬉しく思います。

＜プロフィール＞
坂井豊貴　株式会社エコノミクスデザイン取締役・共同創業者、慶應義塾大学経済学部教授。 ロチェスター大学経済学博士課程修了（Ph.D.）。専攻は関数やアルゴリズムの経済設計、およびそのwebサービスへの実用。プルデンシャル生命保険 社外取締役、Gaudiy経済設計顧問、Astar Networkアドバイザー等、多くの企業役職を併任。主著『多数決を疑う』（岩波新書）は高校現代文の教科書に所収、著書はアジアで翻訳が多い。
 
堀江 慧　株式会社AppBrew 取締役CTO
東京大学総合文化研究科修了（修士）。専門は大規模データ処理と人工知能による意思決定理論。2019年に AppBrew に入社し、LIPS の検索やレコメンド、レーティングやランキングなどのアルゴリズムの企画・開発を担当。主な著作として "Block-Parallel IDA* for GPUs"(2017)、翻訳書として「みんなのデータ構造」(2018)など。

AppBrewでは、今後もユーザーファーストの姿勢を大切に、レーティングのアップデートを続けてまいります。
なお、本取り組みに関するプレスリリースは以下よりご覧いただけます。

https://prtimes.jp/main/html/rd/p/000000076.000018721.html