Wantedly RecSys 2021 参加レポート④ - 推薦システムのユーザインターフェース

こんにちは。Wantedly でデータサイエンティストをしている合田です。

この記事では、「ユーザインターフェース」というテーマで気になった発表をいくつかご紹介します。同じく RecSys 2021 に参加したメンバーの参加報告記事は以下からご参照ください。

現在、多くの Web サービスでは推薦サービスが提供されており、その裏側となる推薦アルゴリズムはサービスの内容や利用者の性質に応じて適切なものが採用されて運用されています。近年ではサービス改善のために精力的に開発されているのは推薦サービスの裏側だけではなく、推薦の結果をユーザに表示させるフロントエンドにおいても推薦の意図に応じたものが開発・採用されるようになってきています。

例えば、Amazon の商品詳細ページではその商品に類似したアイテムの推薦やその商品を購買した他のユーザの購買傾向に基づく推薦などが複数のリスト形式で提示されています。このアイテムリストが複数並んでいるインターフェースは推薦結果が単一のリストで表示されるケースよりも商品の多様性や探索性に優れており、ユーザ体験の向上が期待できます。

このように推薦システムはユーザに合わせた適切なアイテムの並び順を返す機能だけではなく、実際にユーザがその出力結果を目で見てインタラクションするまでを含んでおり、ユーザインターフェースもまたユーザの体験を変える一要素となり得ます。

しかし、現状の多くのサービスで採用されている推薦アルゴリズムはユーザインターフェースの情報を考慮しないことが多いです。ユーザインターフェースの構造がユーザに与える影響として、例えば先ほど述べた多様性や探索性であったり、Exposure bias や Position bias などが該当します。後者のバイアスについてはユーザの行動に分かりやすく反映されるためユーザの行動ログを使って対応することが可能ですが、前者のような複雑な変化を捉え切ることは難しいでしょう。これに対して、明にインターフェースの構造情報やそれがユーザに対して与える影響を推薦アルゴリズムに取り入れることができれば、ユーザの実際の体験に近づいたモデリングが実現でき、より良い推薦システムを作れるのではないかと期待しています。

このようなユーザインターフェースまで考慮した推薦システムを設計・運用することは非常にチャレンジングでありいつか取り組んでみたいと思っていますが、それに当たって以下の2点の問いに対する答えをいくつか収集する必要があると考えています。

• ユーザインターフェースがユーザ体験にどう影響するのか？
• 推薦アルゴリズムでユーザインターフェースの構造情報をどう考慮すればよいのか？

今回はそれぞれの問いに関連している発表をご紹介しようと思っています。記事中の画像は発表資料からの引用です。

“Serving Each User”: Supporting Different Eating Goals Through a Multi-List Recommender Interface

https://dl.acm.org/doi/10.1145/3460231.3474232

こちらは「ユーザインターフェースがユーザ体験にどう影響するのか？」という問いに関連した論文になります。アイテムが一列に並んでいる単一のリスト（シングルリスト）を基準として、複数のリスト（マルチリスト）のインターフェースを採用することによって満足度・使いやすさといったユーザ体験やユーザの選択結果がどう変化するかを調査した論文です。

マルチリストについて

推薦されたアイテムのリストが複数個並んでいる構造を指しています。各行もしくは各列に独立したカルーセルが並んでおり、それぞれのカルーセルの中にアイテムが並んでいます。Netflix や Amazon では各リストの上部に推薦理由を記載した説明付きマルチリストインターフェースが採用されており、ユーザの好みやアイテムの特定の属性で最適化されたリストを表示します。

実験設定

レシピサイト（https://www.allrecipes.com/）のレシピ推薦システムのインターフェースについて、シングルリスト / マルチリスト、説明あり / なしを組み合わせた計4パターンを候補にしています。これらのパターンのいずれか1つを各テスターに割り当て、特定のクエリに該当するレシピを探しているというシナリオの元で実際にレシピを選択してもらうユーザテストを実施しています。そして、テストにおけるユーザの行動結果を評価し、インターフェースの違いによって生じるユーザの行動変化を分析しています。

以下が実験で使用されたインターフェースになります。最上部にはシナリオ上でユーザが探しているレシピのリファレンスとなっていて、これに対する「類似レシピ」や「カロリーが少なめの類似レシピ」など計 5 つの異なるアイテムリストが下に表示されています。

実験結果

各インターフェースでユーザが選択したレシピのFSAスコア（レシピの健康度を定量化したもので、値が小さいほど健康的なレシピであることを示す）を比較してみると、シングルリストよりもマルチリストの方が不健康なアイテムを選択する傾向が強まっていることがわかります。またシングルリストでは説明を付けることによってより健康的な選択をしていることに対し、マルチリストで説明をつけても大きな変化がないことを示しています。

以下は関連する潜在変数や観測変数の関係性を仮定して関係性の度合いを推定する構造方程式モデリング（SEM）の結果になります。この結果から、マルチリストによってユーザに多様性が認識されていることが分かります（β=.780, p<0.001）。また、この多様性の認識の増加によってユーザの選択難易度が増加し（β=.249, p<0.001）、ユーザの選択満足度も増加している（β=.362, p<0.001）ことが示されています。

レシピ推薦システムにおける実験結果を整理すると

• シングルリストとマルチリストではユーザのアイテム選択傾向が異なる
• シングルリストに比べてマルチリストではユーザの多様性の認識度合いと選択満足度が増加するが、反対に選択しやすさが低下する

となり、同じアイテムの並び順であってもインターフェースの違いによってユーザの行動傾向やユーザ体験が変化することが分かりました。

Large-Scale Modeling of Mobile User Click Behaviors Using Deep Learning

https://dl.acm.org/doi/10.1145/3460231.3474264

こちらは「推薦アルゴリズムでユーザインターフェースの構造情報をどう考慮すればよいのか？」という問いに関連した発表になります。モバイルではユーザの行動予測に基づき必要なリソースをあらかじめ確保することでレスポンスタイムを短縮したり、ユーザのクリック（タップ）などの一連の行動動作がより容易になるようにインターフェースを最適化することで、ユーザビリティの向上を実現することができます。この論文では、モバイルでユーザが次にクリックする要素の予測精度を向上させる手段として、ユーザのクリック履歴だけでなくユーザインターフェースの構造情報や操作時点の時間帯などを考慮したモデルを提案しています。

ユーザ行動の分析

モデルの開発に当たり、筆者はモバイルにおけるユーザの行動について理解を深めるために作成したデータセットを用いて分析を行っています。

こちらはクリックイベントの時間分析の結果を表しており、画面の各要素に対するユーザのクリック傾向がそれぞれ時間帯や曜日に依存していることが分かります。例えば、時計画面のアラームのトグルスイッチは翌日が仕事の日である日曜から木曜にかけて多く使われる傾向がありますが、ストップウォッチは1週間を通して均一に使用される傾向が見られます。このユーザのクリック行動が操作時間に大きく依存している傾向をモデルに取り込むことで更なる精度改善が期待できます。

またこの分析では、ユーザが頻繁にアプリ間を遷移する傾向も確認されています。以下の例では、連絡先画面の「テキスト」と「メール」の要素をタップすることで、Messages アプリと Gmail アプリにそれぞれ遷移することを示しています。このようなアプリ間の遷移イベントは、分析に使用したデータセットに含まれるユーザのクリックイベントのうち 26 %に相当するという集計結果が出ており、アプリ間の遷移を考慮するモデルも重要であると考えられます。

提案手法

ユーザインターフェースの構造情報や時間帯などのコンテキストを紐付けたクリック履歴を扱えるように Transformer ベースのモデルを提案しています。

このモデルでは、画面上に存在する全ての要素のテキスト情報や位置・サイズといった構造情報から要素の埋め込みを行っています。これを Transformer Encoder レイヤーに通すことで、各要素のコンテンツの類似性や空間的距離に基づいて画面上のその他の全ての要素との関連性を学習しています。

クリックイベントの埋め込みでは、そのイベントでクリックされた画面上の要素の潜在表現やアプリ情報、イベントの時間帯情報が使用され、クリックイベントのシーケンスと次のクリック情報から各要素に対するクリック予測値が出力されるような構造になっています。

実験結果

ヒューリスティックや古典的な手法、DLをベースラインとして設定し、次にクリックされる要素の予測タスクの精度を比較しています。提案手法は設定したメトリック全てでベースラインを超える性能を出していることを確認しています。ベースラインに設定している Transformer モデルはユーザのクリック履歴をモデルの入力として採用しており、そのベースラインと本提案手法の結果を比較することでインターフェースの構造情報を取り入れることが有効であることを示しています。

終わりに

Amazon や Netflix, Spotify などのサービスを日常的に触っているので、マルチリストという構造とそれを用いた推薦の可能性には大きく興味を惹かれていました。前半紹介した発表はマルチリストの構造がユーザにどう作用するかを調査したものでしたが、普段は何気なしに推薦の説明性が増えるから良いものなんだろうと思っていたリスト上部に付与された説明は単純に説明性を増やすだけではなくその他の構造（マルチリスト or シングルリスト）に依存してユーザの行動を大きく変えるものでした。このようにインターフェースの構造・要素は個々が独立してユーザに作用するのではなく、相互作用して思いも寄らない複雑な効果を生み出すことが感じ取れて大変面白かったです。

また後者の論文では、ユーザインターフェースの要素情報をリッチにモデルに入力することで、実際の構造情報に基づいたユーザの行動履歴を表現されており、やっぱり Transformer なんだなーと思いました（半分冗談ですが）。構造情報を取り込む手法としてはやはり深層学習が強く、今後更なる発展を期待しています。

去年に続いて今年も参加した RecSys でしたが変わらずモチベーションが高くなる発表が多く、大変有意義な 5 日間となりました。今年も大事を取ってオンラインで聴講する形を取りましたが、望める状況であれば来年こそは現地で雰囲気を直に味わってみたいと思っています。

Wantedly では「シゴトでココロオドルひとをふやす」ためにデータサイエンスの力でユーザのマッチング体験を向上していけるデータサイエンティストを募集しています。興味のある方は是非話を聞きに来てください！