AR技術を用いた状況依存な記号認識に基づく実空間作業支援システムの実装
鈴木涼介

アブストラクト

AR 開発用のフレームワークの登場により,AR 技術を利用したアプリケーションの開発が容易となった.AR とは実空間上にデジタル情報を重ねて表示することにより拡張された実空間のことである.AR 技術の利用方法の一つとして,実空間作業支援のためにAR 空間上に情報を重畳表示することが挙げられる.情報の重畳表示を行うことで,ユーザの情報理解を支援することが出来る.本研究では,状況依存な記号認識に基づく実空間における作業支援に関する検討の一環として,麻雀を題材とした支援システムを実装した.麻雀は世界中でプレイされているメジャーなボードゲームである.しかし,初心者が麻雀をプレイする上で得点計算が容易ではない.特に得点計算に関してのルールが複雑であるため,支援する必要がある.実空間麻雀得点計算支援は,状況依存な記号の認識が必要であり,挑戦的な課題である. 本研究における実空間麻雀得点計算支援とは,実空間上の麻雀牌を認識することで麻雀役認識および計算結果を表示することである.支援を実現するためには状況依存な記号の認識が必要となる.状況依存に関して,複数の情報源から取得する位置関係のコンテキストの取得が必要となる.麻雀牌は表面に描かれた文字や図形といった多様な記号によって識別できる種類に加え,手牌,鳴き牌,王牌など麻雀牌が置かれる位置によって異なる麻雀牌の属性を保有するためである.本研究の麻雀における状況とは,麻雀牌の属性のことを指す.状況依存な記号を識別するため機械学習を用いた識別器を適用し,位置関係のコンテキストを取得するためARKit を用いた端末の自己位置推定を行なった.ARKit はiOS 開発者向けのAR フレームワークである.センサ情報とカメラ映像からの特徴点のトラッキングを用いた複合的な位置推定手法を用いた. 本論文では実空間麻雀得点計算支援システムの実装の説明および麻雀牌の記号認識と属性認識の精度を評価した.実験結果として,属性認識に関しては,ユーザから遠い位置にある属性の認識精度に問題があるため,改善の必要がある.記号認識に関しては実用的な精度が得られた.本システムを利用することで,麻雀得点計算支援が可能となった.また実装事例を通して他の実空間作業支援システムへの発展について検討した.