大阪大学 大学院情報科学研究科 情報ネットワーク学専攻 モバイルコンピューティング講座

2021年4月から大阪大学大学院情報科学研究科モバイルコンピューティング講座は山口研究室になりました。詳しくは山口研 WEBサイトをご確認ください．

機械学習に基づく簡易型サーモグラフィを用いた日常向け深部体温推定

人体の深部体温は健康状態を表す指標として注目されています．深部体温とは普段計測する体表温度に対して直接測ることの難しい臓器などの身体中枢の温度で，計測するためには，直腸や口腔，鼓膜などの温度を専用の機器で測る必要があり，計測に伴う負担も大きいことから， １日を通した継続的な深部体温の把握は困難です．一方，サーモグラフィの小型化が進んでおり，サーモグラフィ内蔵スマートフォンなどを用いて，場所を問わずモバイル環境での温度計測が容易に行える環境が整いつつあります．

本研究では，サーモグラフィから得られた可視画像と熱画像のデータを組み合わせ，額，頬，首の体表温度を抽出し，機械学習によって深部体温の推定モデルを構築しています．その際，体表温と深部体温の差を生み出す一因となっている気温を環境情報として，Body Mass Index (BMI)を個人の体型情報としてそれぞれ特徴量として与えることによって，深部体温推定の精度を向上させ，さらに，BMIだけでは考慮できない個人差を考慮するため，あらかじめ取得した個人の学習データに重み付けを行なった上でモデル構築を行っています．

ひきこもり予兆

ひきこもりとされる人々は全国に54 万人，その予備群も165 万人存在するとされています．近年，大学においても，ひきこもりにより学生が授業に出席しなくなることで，単位を取得できず留年や退学に至るケースが増加しており，大きな問題となっています． ひきこもりの具体的な予兆としては，(1) 睡眠時間の乱れ，(2) 授業出席意識の低下，(3) 活発度の減少が挙げられます．現状では，症状が重症化し医療機関に来院した際に，医療側がひきこもりを把握することになるため，医療側が予兆を検出することは難しいです．そのため，早期の対応に繋げられるように，日常的にひきこもりの予兆がないか計測できる仕組みが必要になります．

本研究では，大学生のひきこもり防止を目的に少ない負担で，かつ，継続的に大学生の生活状況を認識し，ひきこもりになりそうな予兆が見られた際には，医者と連携しながら改善指導が行える学生生活支援システムの実現を目指します． 学生生活支援システムでは，スマートフォンを用いてセンサデータやアンケートを収集し，大学生の生活状況の推定から，予兆の有無を判断します．また，収集した生活状況を医療側に提供し，医療側からフィードバックが得られるようにします．

スポーツセンシング

近年，様々なスポーツにおいてビッグデータを活用することにより，選手のパフォーマンス向上や高度な戦術プランの作成に役立てられています．

例えば，サッカーのトラキングデータを用いた機械学習に基づくプレー認識手法や 9軸センサ(3軸加速度・3軸角速度・3軸地磁気)を用いた車いすバスケットボール中の屋内位置推定に取り組んでいます． 車椅子バスケットボールの屋内位置推定では，車いすのいす下と両車輪の車軸につけられたセンサから得られたデータと事前に計測した車いす形状から，単位時間ごとの変位と方向を推定し選手一人ひとりの移動軌跡を導出します． しかし，センサデータによる屋内位置推定において累積誤差が大きな課題の一つであり，これを解決するために車いす同士の衝突を利用しています．

スマートウォッチなどの様々な端末を利用して人の行動やモノの状況を認識する研究が多数なされています．一方，多くの端末は充電や電池交換が必要であり，高齢者の見守りのように日常的に利用するサービスでは継続性に課題があります.そこで，電波反射波によるセンシングが注目を集めています．電波は人の身体や物体の表面に当たって反射したり，透過します．その様子を受信機で受信して解析することによって，それを引き起こしている人やモノの特徴を捉えることができます．しかし，対象が複数ある場合や環境が変わるとそれぞれの電波が混じり，それぞれの対象の識別が困難となります．ここでは，そのような問題の解決に取り組んでいます．

Backscatterよる状況認識

本研究では，ワイヤレスセンシングによる状況認識の高度化を目指し，Backscatterと呼ばれる技術を利用したタグを開発しています．Backscatterは鏡の反射のように，周囲の電波に影響を及ぼす状態とそうでない状態を切り替えて通信する超低消費電力の通信技術です．人やモノにタグを取り付けて，それぞれのタグは異なる電波変動を生み出すことで，複数の対象が存在する場合でもそれらの影響の分離を行います．さらに，複数の反射波の変動を時系列で獲得することで，特定の人やモノの位置関係から「AさんとBさんが会話している」，「Cさんがテレビを見ている」といった周囲の状況の認識を行います．また，ワイヤレスセンシングの新しいアプローチを探究しています．例えば，人の動きに応じてスイッチのオンオフを切り替える，といった工夫により，センサデバイスの電池交換といった手間を必要とせずに，医療や介護施設での高齢者の方の見守りが可能になると考えます．

電波の反射特性を利用した物体の認識

本研究ではWi-Fi電波を用いて，反射強度を空間的に捉えることにより人やモノの識別行っています．電波の反射は物体の素材によって異なる特徴を持つという点に着目し，人やモノに対して電波反射特性の異なる物質を対象ごとに別々の配置したタグを取り付けます．受信機は反射波の強度を2次元的に捉え，タグの配置を読み取ることで対象の識別を行います．このようにして，対象が複数ある場合に対してもそれぞれの識別が可能になります．

Wi-Fiは災害時の携帯通信網の代替インフラや低コストスマートシティ基盤としても重要視されている一方で， 人口集中都市の中心部ではオフィスの集中，屋外用AP の無秩序かつ過密な設置，モバイルルータの急増，ITS 車載器へのWi-Fi 搭載，マルチバンドWi-Fi チップの増加などにより，AP数とデバイス数は増加の一途をたどっており， 過密環境における周波数利用状況の混沌化が問題となっています．このような問題の解決に取り組んでいます．

都市部におけるWi-Fi周波数利活用のためのチャネル制御手法

IEEE 802.11（CSMA/CA）のような自律型メディア共有型無線通信においてリアルタイム性やスループットを保持するためには，フレーム誤りとそれに伴うフレーム再送，ならびに空間競合による通信機会損失による 影響をできるだけ軽減することが求められます． 特に，都市屋外環境では道路沿いのコンビニエンスストアや半屋外のカフェ，オフィスビル内など広範囲にわたり面的に設置された固定Wi-Fi基地局から様々な影響を受けます． また，IEEE 802.11b/g における2.4GHz帯チャネルは計13ありますが，それらの中心周波数からの利用帯域幅を考慮した場合，物理周波数では重なりが存在するため，互いに全く干渉しないチャネルは最大3チャネルであり，利用チャネルが異なる場合でも干渉が生じます． 異なるチャネルからの干渉など，干渉信号強度が比較的低い場合，キャリアセンスによる空間利用の排他制御がなされないため， 逆にフレームエラー発生率が増加しフレーム再送によるスループット低下が生じる可能性もあります． このような干渉源とその影響は一様でないため，それらの状況を把握した上での干渉対策が望まれます．

本研究では，各APにおいて観測される他システムのチャネル使用パターン，およびチャネル毎のトラフィックと平均RSSIをIEEE 802.11のデータフレームの監視により取得し，その情報を入力として，当該システムが各チャネルを使用し た場合に予想される遅延およびフレーム到達率を相対的に求める手法を提案しています．

クラウドソーシングとシミュレーションに基づく都市部Wi-Fiデータベースの構築

War-driving やクラウドソーシングによりWi-Fi の観測データを収集しWi-Fi 通信状況を地点ごとにデータベース化し，Wi-Fi 接続品質予測に活用する試みが以前よりなされています． 特に近年はスマートフォンの普及により観測データ収集が以前よりも容易になり，Wi-Fi データベースとして今後の利活用が期待されています． その一方で，協力者の数や行動パターンによっては十分な観測密度が得られない地点も多く，都市広域を面的にカバーする情報を観測データのみに頼ることは現実的ではありません． 観測点間の補間などの技術も提案されているが，特に都市部においては建造物による複雑な地形により，観測地点の近隣地点でも電波状況が大きく異なることも多く， 十分でない観測数から都市広域の電波状況を正しく推定する技術はいまだ十分でないといえます． 本研究ではクラウドソーシングを活用し，少数のスマートフォンユーザによるAPからのビーコン観測データをクラウドサーバに集約するとともに，シミュレーションを併用して， 都市環境におけるWi-Fi信号の受信強度地図（電波強度地図）を効率良く生成する手法を提案しています．

バッテリレスセンサによる行動認識に向けた発電量と消費電力の検討

近年，様々なウェアラブルデバイスが普及しつつあり，高齢者の見守りやヘルスケアなどへの応用が期待されている一方で， 充電や電池交換の手間がかかることから，依然として普及には課題が残っています． これに対して，環境発電により駆動する複数の環境発電型センサを協調させることで，充電の手間を無くしつつ， センシング性能の向上を図る取り組みが進められています. 従来，センサ間の協調は無線通信の消費電力が高すぎるため避けるべきものとされてきましたが， 近年注目を集めているbackscatter通信を用いることにより，センサ協調にかかる消費電力を大幅に抑えられることが分かってきています. 圧力や光，振動等で発電する環境発電型センサを靴や鞄，腕などの発電量が十分見込める部位に装着することにより，センサごとに役割を分担し，少ない発電量でも行動認識を行ったり， 複数センサで取得したデータを併用して行動認識の精度向上を図るといった応用が期待されています． 本研究では，これらの環境発電型センサを協調させ，機械学習によって学習済みの分類器をマイコンに実装することで「歩いている」「バス・電車に乗っている」などの移動状況の推定に取り組んでいます．

近年，ウェアラブルセンサの発展により，様々な生体データを手軽に収集することが可能となった． 我々は，これらの生体データをスポーツジムや大学などの多種多様な環境において収集し，ウェアラブルセンサを用いた深部体温推定法の改良や，熱中症の予兆検知，ストレスレベルの推定といった目的で利用することを検討している． 多種多様な環境において生体データ収集を行う場合には，センサの装着性やユーザの意思により，特定の端末が利用できない場合もあり，異種端末の混在が避けられない． 異種端末が混在する場合，センサごとに測定に適した条件や測定精度にばらつきがあるため，それらの測定値を可能な限り適切に補正することが求められる． また，ユーザが正しい知識を有していない等の様々な理由により，デバイスの装着が適切に行われない場合があり，これらの原因による不正確な測定値を適切に補正・除外する必要がある． 前述のような補正や除外を行うためには，各センサの測定誤差や適切な測定条件といった特性を把握しなければならない． そこで我々は各センサの特性調査を行い，その結果を基に低精度な測定値の適切な補正・除外法を考案する．

IoTが普及する中で，屋外の随所に設置したセンサのデータを無線で収集する方法が注目されています． ここで山間部などでは電波が入らないため基地局を自ら設置する必要がありますが，最適な配置を考えるための実地検証が難しいため，無線シミュレータを用いることになります． シミュレーションに際するモデル作成は手作業で行うことが多く手間が大きいため，ソフトに備わる3次元データの入力機能を活用した効率化の1つとして，ドローンなどによる複数の空撮画像を統合してできる3次元点群などを利用する方法が期待されています． しかし，生成直後の点群には，地面や物体などの区別が無く，点群全体が1つの物体として扱われているため，シミュレータで直接用いるには都合が悪く，よって点群から地面や個々の立体物を切り分けなければならない． 本研究では，これらの点群の分類・切り分けに取り組んでいます．

無線センサネットワークにおける深層学習の分散実行

近年，データ処理をクラウドで集約して行う傾向から，マイクロソフトやGoogle TensorFlow などによるいくつかのIoTツールは， 機械学習等により訓練された判定関数などをIoT デバイスに導入できるエッジコンピューティング機能をサポートしつつあります． しかし，そういった既存のツールおよび既存アプローチのほとんどは，学習済みの判定機能の一部または全部をクラウドからエッジデバイスに移行することで， 以降のクラウドへのデータ量を削減することが目的であり，学習段階では依然として，学習機能を有するクラウドサーバーあるいはホームゲートウェイなどにすべてのデータを集約する必要があります． そこで本研究では，WSN(Wireless Sensor Network)において深層学習およびそれを用いたデータ処理を行うための新しい手法を提案しています． 提案手法では，WSN の各センサノードから連続的に生成されるデータを2 次元や3 次元の地理的データ(例えば，温度データ等) として扱い， 多層ニューラルネットワークの中でも画像認識をはじめとする多くの分野において高い精度を達成できる畳み込みニューラルネットワーク(CNN) を対象とし，CNN の各ユニットをWSN 内のノード（センサノード）のいずれかに割り当てることで、 分散環境で実現しています．

Distributed Complex Event Processing on IoT Edges

Tackling unavailability, latency, and privacy issues of cloud especially in unprepared emergency situations, the research key is to push event stream processing down to local devices which coming with computation and communication capability through self-organized task distribution framework. The proposed framework is composed of multiple module-based event stream processing engines called “EdgeCEP” brokers. They operate following on-the-fly queries which written in the brand-new hybrid event specification language.