【Quipperブログ】「目は口ほどに物を言う？」アイトラッキングを活用した英単語学習支援システムの試み

はじめまして。
データーリサーチエンジニアの @bwtakacy です。
私は、データ分析やAI技術を活用して学習をサポートする仕組みや機能の研究開発を行うチームに所属しています。
今回は、研究開発の取り組みの一つをご紹介したいと思います。

英単語学習に新しい「目線」を

早速ですが、以下の二つの画像を見てください。
英単語の意味を答える問題をPC上で解いてもらった時の目線の動きをヒートマップと経路として表示したものです。

一つは、あまり目移りせずに正解を選んだパターン。

もう一つは色々迷ったパターンです。

どうでしょうか。自分の感覚と照らし合わせてみて当たっていますでしょうか。
あくまで象徴的な例ですので、個人によったり、体調によったり、と毎回このようなはっきりとした違いが出るとは限りません。ですが、大まかな傾向として、目線の動きを見ることで「どれくらい解答に迷ったか」を推定することができそうです。具体的には、目線の動きをアイトラッキングデバイスで収集し、解答に迷ったかどうかをアンケートで答えてもらうことでデータを収集し、機械学習による推定モデルを構築することで実現できます。

学習にどのように役立てるか

「どれくらい解答に迷ったか」がわかると何が嬉しいのでしょうか。
我々は、解答結果をフィードバックする際に、より踏み込んだアドバイスが可能になるというメリットがあると考えています。
テスト結果として最もシンプルなものは、答えがあっているか、間違っているかを判定してフィードバックします。
ここに目線の動きを組み合わせることで、解答のプロセスを(推測込みではありますが)評価することが可能になります。

つまり、今までは

という評価だったのが、目線の動きを組み合わせると、

というように解答に至るプロセスを分類することができます。

これができると、

• 正解したが迷った単語は念の為復習してね
• 迷いなく不正解した単語は誤解している可能性があるから特に注意してね

といったアドバイスを返すことが可能になります。

メタ認知を促す学習支援システム

このような解答プロセスを考慮したアドバイスはメタ認知と呼ばれるものを考慮したものです。
メタ認知とは自分の認知に対する認知であり、誤解を恐れずに言うと、自分自身の行動を振り返ってどうだったかを客観視するというものです。
例えると、プロのスポーツ選手が自分の競技をビデオに撮影して見直したりコーチからアドバイスをもらったりして、体の動きを改善していくイメージでしょうか。

スポーツ選手のように、勉強においてもメタ認知を意識したアドバイスをすることで成績を上げていこう！というのが、今回の取り組みのアイデアです。

このアイデアを検証するために、アイトラッキング技術を用いてテスト時の目線の動きを測定し、復習すべき内容をフィードバックするシステムを構築しました。そして、多くの中学高校生が取り組む、英単語学習においてどのような効果があるのかを検証しました。

本取り組みは大阪府立大学 知能メディア処理研究室 黄瀬浩一教授との共同研究として実施いたしました。基本的なシステムは既存の研究成果物を利用させていただきました。我々の方で検証環境を用意し、周辺機能を追加した上で検証を行いました。

実際に高校生に使ってもらった

今回の検証では2018年の7、8月の夏期に、67名の高校生に利用してもらいました。受けてもらったテストの回数としては、延べ96,469問の問題解答になりました。
利用してもらうにあたり、単なるシステムの実験で終わらないようにするため、英単語学習プロセスの一環として利用してもらうようにしました。具体的には、スタディサプリにて英語を担当している関正生講師の「1ヶ月1000単語習得法」を実践してもらうプロセスにシステムを組み込みました。この学習法は、1日200単語 x 5日間を1セットとし、少しずつ暗記を積み重ねていくことで1ヶ月で1000単語を習得してしまおうという学習法です。詳しくは スタディサプリの講義で詳しく説明されているので興味がある方はぜひ見てください！

このメソッドに従って、協力していただいた高校生の方には

1. システムを利用し、200個の単語についてチェック
2. 間違った単語、正解したが迷いがあった単語がレポート出力されるので学習

というのを毎日繰り返して、700~800単語を習得することを課題に取り組んでもらいました。
その中で、アイトラッキングを用いたフィードバック機能の効果を検証するために、生徒を以下の2グループに振り分けました。

（A）間違った単語に加えて、「正解していたが迷いがあった単語」もレポートに提示

（B）間違った単語に加えて、「正解していたが迷いがあった単語」と同じ数だけ正解していた単語をランダムに選択してレポートに提示

Bグループの定義がちょっと複雑なのには以下の理由があります。
一番簡単に比較するには「正解したが迷いがあった単語」をレポートする、しないで分けることです。ただし、これだとAとBで見た目上フィードバックの量に差が出てしまいます。教育サービスにおいてこのような差をつけてしまうことはなかなか受け入れられないのではという懸念があったため、内部で検討した結果

• 間違った単語がフィードバックされるという最低限の価値は揃える
• プラスアルファで提示する内容を変えて比較する

という方針を今回は採用することにしました。もっと良いやり方があるのではとも感じているので、このあたりは今後も試行錯誤をしていきたいと考えています。

実際に英単語学習に効果があったのか

さて、その結果がどうなったかをご説明しましょう。
AとBの生徒で取り組んだセット数を比較した結果、以下の表のようにAの方がBよりも平均して1.4倍ものセット数に取り組んだことがわかりました。

(※ 1.8 / 1.4 ≒ 1.4倍)

学習の継続率にこのような差が出たことは、迷いがあった単語が実際にフィードバックされることで学習を続けようというモチベーションになることを示唆しています。

また、学習効果については、2セット以上解いた生徒21名を比較すると、正解率の伸びがAの方がBよりも平均して1.4倍ほど高いという結果になりました。

(※ 2セット目平均向上幅 = 2セット目平均正解率 - 初回平均正解率。3セット目平均向上幅 = 3セット目平均正解率 - 初回平均正解率。向上幅をAとBで比較すると、6.2 / 4.4 ≒ 1.4, 8.4 / 6.1 ≒ 1.4。)

いずれも、今回の検証では対象人数が少ないため統計的に有意であるとまでは言えませんでしたが、学習量、学習効果の双方で一貫した差が傾向として確認できました。
特に、正解率の伸びは100%に近くほど小さくなっていくことを考えると、90%のレンジでも差が保たれていることは大きな価値があると思っています。

また、実際に利用した生徒からも概ね好評で、

• 迷った単語が確かに指摘されていた
• この仕組みなら学習を続けられそう
• 自分に合わせたレポートが出てくるので復習しやすい

といった反応がありました。

ただし、迷いの推定に利用した機械学習モデルの精度が個人ごとにばらつく傾向があったため、及ぼす効果も個人差があったと思われます。この点はもっとアイトラッキングデータを収集し、モデルの精度を上げていくことや個人ごとにパーソナライズしていくことで改善できると考えています。

今回の機能は現時点ではすぐにQuipper・スタディサプリの機能として提供できる段階にはありませんが、実用化に向けて今後も研究開発を進めていきたいテーマの一つです。

おわりに

ということで、かなりかいつまんでのご紹介になりましたが、我々が取り組んでいる研究開発の雰囲気が少しでも伝われば幸いです。

グローバルな環境で Quipper のミッションである Distributors of Wisdom を推し進めるために、データ分析やAI技術の活用を考える研究開発を行うエンジニアを募集しています！
興味がある方はご応募ください！お待ちしています。