(エンジニアブログ)次回FedEx-WEEKでやりたいこと（画像認識機能について事前調査した話）

こんにちは！ ZAICO開発チームです。

早速ですが、ZAICOにはFedEx-WEEKという素晴らしい取り組みがあります。

これは、1週間をかけて１つ（複数も可）興味のある課題にだけ取り組める期間で、通常業務と無関係でも何か解決したい問題があれば、1週間その開発にだけ没頭することができます。

今回はFedEx-WEEKを来月（5月実施予定）に控え、事前に技術調査を行ったのでその内容を書いてみます。
※前回のFedEx-WEEKではAlexa（音声認識）による在庫管理機能を開発しました。
https://www.zaico.co.jp/zaico_blog/alexa_fedex/

何をやるか

FedEx-WEEKでは、事前にどんなことに取り組むか、各エンジニアごとに宣言してから開発に着手します。

したがって、エンジニアはある程度事前に調査を行い、1週間でやり切れる程度のテーマを選びます。

真っ先に私の頭に浮かんだのは以下のようなことでした。

やっぱり画像認識がやりたい
せっかくなので、ユーザーにとって便利な機能を作りたい
私は普段iOSアプリの開発を行っているため、iOSアプリに組み込めるものがいい

したがって、画像認識を使ったユーザーにとって便利な機能をiOSアプリに実装することにしました。

で、結局、何をやるか

実は、ZAICOアプリには、画像認識を使った在庫登録の仕組みがすでにあります。

これは、いわゆるOCRという技術で、ZAICOではGoogleのCloud Vision APIを内部的に利用しています。

ふと、「OCRでエクセル等の在庫管理表をスキャンし、それをZAICOに一括登録できたら便利じゃないか？」と考えました。

ZAICOアプリのカメラで帳票を撮影
OCRで自動検出＆在庫データを一括登録
すぐにZAICOを利用開始できる！

みたいなイメージです。

テーマが決まったので調査開始です。

調査内容

まずはじめに、既存機能の在庫登録スキャンを使って、在庫管理表をスキャンしてみました。

もしかしたら、すでにいい線いってるのではないか？という淡い期待を抱きながら。

対象の帳票フォーマットは一旦こんな感じを想定。

↓スキャン結果

悪くないですね。

ただ、以下のような問題点があります。

セルごとにブロック（青い枠）が分かれることを予想してたけど、列ごとにまとめられてしまっている
でも、数量の見出しセルだけは個別に認識されてる
（当然ながら）メニューとか行番号とか関係ないところも検出されている
ちなみに、各ブロックの中身は以下のようになっています。

・商品コード（A列）

・物品名（B列）

・保管場所（C列）

・数量（D列）

以下、所感です。

罫線はあまり考慮してくれないのかも
各列はちゃんと区別できてる
ブロック内の検出テキストは改行コードで区切られてるのでこれは使えそう
それぞれの検出テキストはかなり精度が高い
数量列はイレギュラーだが、見出しブロックの座標位置からある程度推測してデータのブロックを特定できそう
ユーザーが微調整する画面は必要かも
ということで、どうやら既存機能と同様の技術を使って実装すればうまくいきそう、ということが分かりました。

もちろん精度の問題とか、帳票フォーマットの問題とか、うちの管理表は手書きだとか、いろいろ解決すべき点は出てくるかと思います。

が、今回は事前調査なのでこのくらいでやめておきます。