アーバンエックス 2023年の研究開発を振り返る

アーバンエックステクノロジーズ（以下、アーバンエックス）は、代表が東京大学時代に研究してきた内容をベースに起業したスタートアップで、現在も日々、研究開発に取り組んでいます。

今回は、2023年にどのような研究開発を行ってきたのか、担当の森岡さんに聞いてみました。

森岡 浩太郎

学生時代はCADを用いたシミュレーションで設計支援を行う手法の研究に従事。卒業後は画像処理ソフトウェアのベンチャーに就職し、ディープラーニングやSLAMなどを経験。その他1社の経験を経て、2022年にアーバンエックスに入社。

注力テーマ1：ひび割れ率の算出

昨年度取り組んだテーマの１つ目は、現在製品化を進めている「RoadManager 路面評価」パッケージに含まれるひび割れ率推定手法の改善です。まず路面評価の製品について説明しますと、ひび割れ率やIRIと呼ばれる路面の損傷の度合いについての定量指標を、車内に取り付けたスマートフォンのデータから自動で算出する製品です。ひび割れ率については、算出方法が国交省のガイドラインで定められており、それに従うと、まず路面のレーンを50cm四方のグリッドに分割してから、グリッド毎のひび割れの状態を数値化し、20mや100mなどの固定長で平均化することで算出します。

従来のひび割れ率の計測では、人の手によって計測を行う、あるいは高精度なセンサーを搭載した専用車両により測定する方法がとられてきましたが、コストや時間がかかることが問題点として挙げられます。それに対し、弊社のひび割れ率推定手法では、車内に取り付けたスマートフォンでデータを収集しサーバーにアップロードするだけで、路線毎のひび割れ率を算出することが可能になるため、大幅なコスト削減ができるという利点があります。その反面、専用のハードウェアを用いず計測用のセンサーも安価なため、技術的な難しさも存在しています。

人の手によって計測したひび割れ率算出のイメージ（出典：国土交通省, 路面性状を簡易に把握可能な技術より）

現在開発している手法では、まず専用のアプリで取得した動画及びGPS・IMUのセンサーデータから周辺環境の３次元再構成を行い、その再構成結果から路面の鳥瞰図の作成を行います。その後、鳥瞰図上でひび割れの検知と集計を行うことで、定義通りのひび割れ率の算出が可能となります。この手法における難しさとしては、交通や天候などの多様な条件下でロバストかつ高精度に動作させる必要がある点が挙げられます。例えば、３次元再構成のロバスト性に関して、COLMAPなど汎用のSfM(Structure from Motion)をテストデータに適用する検証を行ったところ、ルート全長の７割ほどでしか再構成できないという結果となりました。SfMが失敗する原因としては、道路には類似した構造物が多いことや車両などの動物体が多く存在していることなどが挙げられます。そこでこうした問題への対策を実装し車載画像に特化させたSfMエンジンを自作することでロバスト性を向上させるという対策を行っています。

車載画像と鳥瞰画像、グリッドごとの損傷評価結果

こうした改善を行うことで、解析エンジンが様々な状況下でも安定して動作するようになりましたが、精度面において課題があることも明らかになってきました。そのため2023年は精度向上を主眼に置き、まずは正解となるデータとの比較検証を行いました。すると、動画の画質の悪さによりヒビが判別できないケース、ひび割れ解析のAIモデルが細かいヒビを認識できていないケースにおいて精度が低下することがわかりました。

動画の画質に関する課題については、デバイスで取得した静止画列を動画に変換する際に行われるデータ圧縮により詳細な情報が捨てられてしまうというものです。動画の画質向上で最も容易に行える対策としてはビットレートを上げる（データ圧縮率を下げる）方法がありますが、画質が改善はするものの1mmレベルの細かいヒビについてはやはり判別が難しいことがわかりました。そこで静止画を動画化するのではなく、静止画のまま一定時間ごとにサンプリングして保存するという方式に切り替えることにしました。これにより静止画の画質を劣化させることなく解析することが可能になりました。

動画と静止画の画質比較

AIモデルの精度に関する課題については、他の製品と同じモデルを流用していたものから、より精度の要求されるひび割れ率推定用に新しくデータとモデルを用意することで対応しました。旧モデルと新モデルの大きな変更点は、車載画像に対してそのまま推論を実行していたものから、鳥瞰図に変換した画像に対して推論を行うように変更するというものです。車載画像の場合、建物や樹木など路面以外の要素が多く存在し、それらが路面の損傷の認識に影響するデメリットがあります。また鳥瞰図では、路面の見えが上から見たもので画一化されるため、路面上の損傷のバリエーションと単純な見え方による変動とを分離でき、学習がしやすくなるという効果も期待できます。学習データの作成では、上述の画質向上の施策も行った上で鳥瞰画像の収集をおこない、アノテーションを実施しました。この学習モデルで新モデルの学習を行ったところ、細かいひび割れの認識精度が向上したことが確認できました。

鳥瞰図からひび割れを検知したイメージ

今後は、検証実験を通じた安定性のブラッシュアップ、およびAIモデルの性能のさらなる向上に取り組んでいきたいと考えています。特に、夕方で西日があたっている路面など学習データで十分にカバーできていない条件下ではAIモデルの性能が低下することがわかっており、学習データを拡充したり学習方法を改良していくことが現状の課題です。

テーマ2：道路の白線のかすれの検知

2023年に取り組んだテーマの２つ目は、「RoadManager損傷検知」の新機能である白線かすれ検知の開発です。これまでの損傷検知では、道路のポットホール（穴）と亀甲状のひび割れの検知がメインでしたが、あらたに区画線と横断歩道のカスレを検知する機能の開発を行いました。

損傷検知では、スマホなどの端末でもリアルタイムに処理できることが重要であり、追加されるカスレ検知も軽量な手法であることが求められます。今回開発した手法では、まず路面標識のセグメンテーションを行なった後に、画像処理によってカスレ領域を抽出するという処理を行なっています。路面標識のセグメンテーションにはこれまでの損傷検知モデルを流用し、後段の画像処理部分には軽量なアルゴリズムを採用することで、カスレ検知を追加したことによる計算時間の増加は実機で数ミリ秒程度に抑えることができました。

カスレ領域抽出で工夫した点としては、影の影響の低減です。カスレ抽出処理では基本的に画像の輝度値をベースに各ピクセルの分類を行っているのですが、ペイントの剥離以外に路面に落ちた影によって輝度値が下がることが問題になります。そこで、周辺の輝度を見ることで影かどうかの判断をしたうえで、各ピクセルのカスレの判断を行うアルゴリズムを開発しました。

今回開発した手法は現在、製品に組み込むべく検証を行なっており、今後は検証結果を基に性能のブラッシュアップを行う予定です。またニーズによっては処理速度の制約を緩めた高精度版の開発もあり得るかと思います。例えば、現在の影の低減手法は細かいシャープな影に対しては効果が薄いことがわかっており、より効果的な方法の検討を行えればと考えています。

テーマ3：位置情報の補正

製品には組み込めなかったテーマにはなりますが、３つめに取り組んだテーマはGNSS位置推定の高精度化についての検討です。

現在の製品で活用している位置情報は、AndroidのAPIから得られる緯度と経度(+高度)なのですが、AndroidではGNSSのRawデータも取得することができ、このrawデータを用いて位置推定を独自に行うことが可能です。今回の検証では、取得したRawデータのログを用いて後処理で位置精度を向上させることができるかについての検証を行いました。

Android APIによる位置推定の精度はデバイスや状況によって変動しますが、誤差の標準偏差が5mほどとされています。スマホのGNSSセンサーのデータを基にリアルタイムのアルゴリズムでこれ以上の精度を安定して達成するのはなかなか難しいと思います。ですが、後処理であれば、キャリブレーションされた衛星軌道と各種補正用のパラメータが活用でき、位置推定の際に過去の情報だけでなく未来時点の情報も使用できるため、精度を向上させることが可能です。

実際、Androidで取得されたRawデータで高い精度を達成した手法がいくつか発表されており、今回はそのなかでもGSDC2022というコンペで優勝した手法(参考文献[1])の再現実装を行いました。この手法はデバイスの軌道全体の最適化を行う手法であり、性能が低くノイズの多いスマホ用GNSSセンサーに特化した処理を複数盛り込んでいます。例えば、ドップラー効果により推定できる速度を位置推定に活用することが高精度化には重要なのですが、速度と位置の同時最適化はノイズの影響から不安定になります。そこでこの手法では、まず速度のみの推定を行った後に、位置推定を行うという２段階の処理を行っています。

処理前・処理後の比較

再現実装した結果をGSDCデータセットで評価したところ、参考論文とほぼ同じ結果を得ることが出来たのですが、社内で走行して取得したデータによる検証では安定した結果を得ることが難しいことがわかりました。その理由は、社内データでは衛星シグナルのステータス異常の割合が多く、位置推定に用いることのできる衛星の数が足りなくなるケースが頻発したためです。スマホの機種によってはステータス異常が十分少ないものもあったのですが、原因の究明には至りませんでした。

このため製品に採用することは出来なかったのですが、今回の検討を通じてGNSSを用いた位置推定の原理やデータ処理方法について知見が深まりました。この知見を今後に生かしたいと考えています。

今後の研究開発に向けて

アーバンエックスでは、2024年よりプロジェクトを推進していくために一緒に研究開発に取り組んでいただけるメンバーを募集しています。

画像処理やC/Pythonを用いた開発・データ解析の知識・経験はある程度必要ですが、スタートアップという環境なので、1つの技術に特化している方はもちろん、広い領域を一貫して関わりたいという方にもよい業務環境です。

例えば、私の場合は画像処理だけでなく、衛星の信号やアプリケーション自体にも関与しています。未知の領域でも論文を読みながら実装することもあります。スタートアップだからこそ、全てに対して経験がある方は少ないと思いますので、チャレンジマインドが大切です。

今年の注力領域は、次にジョインいただける方の強みによっても変わってくると考えています。それくらい自主性を重んじてもらえる環境なので、まずはトライし、世の中に私たちの技術やサービスを問うてみることに興味がある方はぜひ一緒に働きましょう。

参考文献

[1] Suzuki, Taro. "Precise Position Estimation Using Smartphone Raw GNSS Data Based on Two-Step Optimization." Sensors 23.3 (2023): 1205.