2023年5月23日、株式会社東北ドローン（本社：宮城県仙台市、代表：桐⽣俊輔）はこのたび、東北⼤学タフ・サイバーフィジカル AI研究センター（岡⽥佳都特任准教授、⼩島匠太郎特任助教、Ranulfo Bezerra特任助教らのグループ）との共同研究により、AIやドローンを活⽤した⼭岳遭難者探索システムを研究開発しました。

1. 概要
2. 現状の課題と解決策
3. 研究開発の方向性
- 3.1. 課題を解決する捜索者（人）ためのシステム
- 3.2. 画像認識AIと位置座標推定システムを組み合わせ、山岳遭難者探索システムを開発
4. ジャパン・イノベーション・チャレンジ2022
5. 今後へ向けて
- 5.1. システムの精度を向上させる必要性
- 5.2. 実用へ向けた研究開発

概要

年2,500件以上発⽣する⼭岳遭難の解決を⽀援する、⾃動⾶⾏ドローンと⼈検出AIを融合した「遭難者探索システム」を開発
ドローン電源投⼊から空撮、遭難者発⾒、クラウド経由の報告までを完全⾃動化
夜間、⼀部通信圏外のロボット競技会において性能を実証

現状の課題と解決策

捜索コストとリスク

警察庁の統計によると、令和3年の山岳遭難の発生件数は 2,635件と過去2番目の多さであり、近年右肩上がりに増加しています。

また捜索する側の課題も顕在化しており、一度遭難が発生した場合には山間部を数日にわたり大人数で捜索するため、多大な運用費用に加えて捜索者側の安全リスクも高まることが考えられます。

様々な課題の解決を目標として、株式会社東北ドローン（以下：東北ドローン）と東北大学タフ・サイバーフィジカルAI研究センター（以下：東北大学TCPAI）は令和4年度に、ドローンを使った革新的な遭難者探索システムの共同研究に着手しました。

東北大学TCPAIでは、社会や産業の課題解決へ向けたロボットやAIの研究開発を行っています。

「ドローン」×「熱画像カメラ」×「AIシステム」×「位置情報取得システム」

共同研究では、東北ドローンのドローンの運用ノウハウと東北大学TCPAIの研究実績を掛け合わせて、実践的なシステムの開発を目指しました。

開発したシステムでは事前に設定した範囲をドローンが自動航行し、熱画像カメラの映像から自動で人らしき箇所を捉え、その位置座標を送信します。

空から捜索する中で、人らしきものを見つけた場合、その位置情報を伝えるという流れを捜索と一貫して行います。「見つけるだけ、飛ばすだけ」ではない、統合的なシステムの開発となります。

具体的には、ドローンが離陸後に赤外線カメラを使用して赤外線映像を撮影します。

次に、白黒の赤外線映像から、周囲の環境よりも温度が高い（色が白い）、人の特徴をもった形状をAIが認識します。

そして、動画を画像に切り分けて、AIが認識した物体に関する位置情報を計算して、着陸後または上空利用が可能なSIMカードを搭載した端末にて拠点に送信します。

ドローンによるデータ取得は膨大な撮影枚数になりがちなのですが、送信されるデータは、全体のうちAIが認識した部分のみのデータになるため、データ確認が容易となります。

共同研究では、東北ドローンが機体や通信の、東北大学TCPAIが遭難者検出や位置特定技術の開発を主に担当しました。

物体検出AI

映像中から人を検知するために、YOLOv7という物体検出AIモデルを採用しました。YOLOv7に上空から人を撮影した赤外線画像を使った独自のチューニングを施すことで、検出機能を実現し、チューニング後のYOLOv7では、赤外線画像から人らしき物体を検出し、矩形（長方形）とテキストで表示します。

研究開発の方向性

課題を解決する捜索者（人）ためのシステム

捜索者にとって安全なしくみが生まれると、昼夜を問わない持続可能な捜索が可能となる未来になると考え、捜索者（人）の為に寄与するテクノロジーを使用した課題解決を検討しました。

東北ドローンの強みであるドローンを使った、空から遭難者を捜索するシステムを開発することで、人が現場に赴いて捜索するリスクを減らしつつ、遭難者の早期発見に貢献することができると考えました。

そこでドローンの電源投入から飛行、分析者へのデータ送信まで、人の介入が少しでも少なくなるようなシステムの開発を検討しました。

画像認識AIと位置座標推定システムを組み合わせ、山岳遭難者探索システムを開発

既存の製品の組み合わせでは自動で物体を見つけることは困難で、仮に発見したとしても、映像中から物体の場所を特定することが難しいため、自動で人を検知し、その場所を推定するシステムを目指すとともに夜間の捜索も可能とするために、熱画像カメラを採用しました。

ジャパン・イノベーション・チャレンジ2022

実際の現場でシステムを検証

実用的なシステムを目指して開発する中で、検証する機会を得ました。

北海道の上士幌町でジャパン・イノベーション・チャレンジ2022（以下：JIC2022）という、遭難者救助のテクノロジーを競うロボットコンテストが開催されることとなりました。

「東北ドローンと東北大QuixAir」というチーム名のもと、コンテストの課題のひとつである「発見」に注力し参加しました。

コンテストでは実際の山間部に捜索対象となる人の体温を模した人形（模擬被災者、以下：マネキン）が複数体設置されます。

マネキンの位置情報は出場者には伝えられないルールとなっており、出場者は夜間にロボットを使ってマネキンを捜索します。

開発にあたって、標高差がある広大な山間部に設定された場所での自動航行や、夜間飛行、遠隔地での離発着管理など非常に多くの障壁がありました。

急ピッチで共同開発を行い、JIC2022までに間に合わせることができ、課題に挑戦することが可能となりました。

AIが遭難者を検知し近しい位置を検知

コンテスト中、完成したばかりのシステムは数々の困難に直面しました。地形による伝送の乱れや低温など、自然の影響を多く受け、制限時間内の課題達成はなりませんでした。

一方で、後の検証で、自動航行から帰還したドローンはターゲット（マネキン）らしき物体を検知していたことが分かり、捉えたターゲットは正解で、推定した位置座標も誤差が少ないことが判明しました。

それでも課題はまだ多くあり、コンテスト後も引き続き共同研究を続けました。

福島ロボットテストフィールドにてJIC2022での課題を踏まえた実験の実施

JIC2022で模擬被災者（マネキン）を検知したシステムの性能を定量的に評価することで、システム改善の具体的な方向性を見出すことができます。そのため、令和5年の1月に福島ロボットテストフィールド（以下：福島RTF）内で、JIC2022と同様の模擬被災者（マネキン）を配置して、再度システムの運用を行い、そこで取得したデータをもとに検証を行いました。

ここでは、AIの評価指標を求めることができました。具体的には再現率と適合率です。陽性と陰性をそれぞれ、真陽性、偽陽性、真陰性、偽陰性のように細分化した数値から計算して求められる数値です。

再現率は、検出すべき物体のうち、正しく検出された物体の割合を表しています。偽陰性を考慮して、見逃しをなるべく抑えたいときに有用な評価指標です。

適合率は、システムが検出した物体のうち、正しく検出された物体の割合を表しています。誤検知などをなるべく抑えたいときに有用な評価指標です。