【技術記事紹介①】データサイエンティスト業務を知りたい方にもおすすめ！当社社員が書いたデータ分析技術に関する記事を紹介します

データ分析業務を行っていると、こんな疑問を感じることがあります。

• 施策を実施して効果確認を行ったけど、効果確認の結果がうまくいっていないような気がする
• データのバイアスが機械学習モデルにどう影響するのだろう
• など...

当社では分析業務を通じて身に付けた知識・経験を技術ブログなどを通じて発信することも重視しております。実際、上記のような疑問の解決に役立つようなデータ分析技術の記事を当社社員が書いています。

• TDSEマガジン・技術ブログ | TDSE株式会社
• TDSE株式会社 - Qiita

このストーリーでは、TDSEマガジンの技術記事から、2点取り上げて紹介します。データサイエンティストの業務内容が気になっている学生の方にも、どんな分析技術を使うのかがわかり、オススメの内容になっています。

①　施策の効果を正しく見積もりたいときは、「差分の差分法」！

とある店舗で売上を増加させるための施策を行ったときに、施策の効果を確認してほしいと依頼を受けることがあります。

その時に施策を行った店舗の施策前後の売上を比較するのはあまり適切ではありません。売上前後で施策とは別の要因で売上が変動する可能性があるからです。施策を行った店舗と売上が同程度/同傾向である比較用の別店舗を用意して、その店舗との比較で効果を考えていく方が妥当な推定ができると考えられます。比較の際にはもともとの店舗の売り上げの違いを考慮するために、店舗毎に施策開始前後の比較を行い、その結果を店舗間で比較するといった考え方をする必要があります。

この考え方を定式化したのが差分の差分法と呼ばれる方法です。本当は効果が小さい施策を過大評価して継続判断をしてしまい運用コストを払う、または本当は効果が大きい施策を過小評価して中止判断をしてしまい機会損失を生じる、といった事態を防ぐためには因果推論と呼ばれる手法群を活用して効果を正確に推定する必要がありますが、差分の差分法は因果推論の代表的な手法の一つです。

差分の差分法について解説した記事を当社ブログ（TDSEマガジン）に掲載しています。記事は以下のような２部構成となっております。

１部ではマーケティングを例にとり差分の差分法の考え方とそれを実現する線形回帰モデルを紹介しています「理論編」

２部ではサンプルデータについて実際に効果確認を行っていく流れをサンプルコードと合わせて紹介しています「実装編」

施策の効果検証や因果推論の手法に興味がある方は読んでいただけるとうれしいです。

②　機械学習技術が差別的な決定をすることを防ぐ「公平性」！

機械学習を活用したAIシステムやアプリケーションを構築する上で、公平性を考えることは重要です。AIシステムやアプリケーションが特定の属性が不利益を被るような差別的な決定をすることは、社会倫理上許されることではありません。

機械学習技術の中に潜む不公平性に対処するという課題は重要ですが、どうアプローチすればよいのか、そもそも何が起きているのか、感覚的にも理解しにくい部分があるのではないかと思われます。

その中で、当社ブログに掲載している記事が公平性に関する基本事項や対処方法をまとめており、参考になるのではないかと思います。

記事は3部構成となっております。

1部では、公平性がどのようなものなのか、どのようにして不公平は起きるのかという基本的な部分を解説しています。

2部では、公平性が満たされるとはどのようにして定式化ができるのかを数式を用いて説明し、不公平を緩和するためにはどのような方法があるのかという技術的な部分を取り上げています。

3部では、公平性のための実用的なツールをいくつか紹介し、実際にツールを用いて不公平性の検出と対処を行う実装的な部分を紹介しています。

2020年に公開されたものなので、内容がやや古い部分もあるかもしれませんが、公平性に関する論点がよくまとまっているので、公平性に関心がある方はぜひ読んでみていただければと思います。

今回紹介したものの他に、画像認識/画像解析など進展が著しい技術や、自然言語処理など応用性の高い技術についての記事も書かれていますので、閲覧いただけますと幸いです！

～データを活用した可能性に溢れた豊かな社会へ～