[ トップページ ]

分散協調視覚による動的3次元状況理解

プロジェクトリーダー

松山 隆司（京都大学教授）

コアメンバー

美濃 導彦（京都大学教授）

浅田 稔（大阪大学教授）

和田 俊和（京都大学助教授）

プロジェクトの紹介

本プロジェクトでは，ネットワークで結ばれた多数の観測ステーション（首振りビデオカメラを備えたPC）や視覚機能を備えた移動ロボットにより，動的に変化する実世界の状況を多角的に観測し（図1），

1. 分散協調型動的状況理解：観測ステーション，ロボット群の協調によって，移動する人物や車両を自動追跡し，それらの動作を実時間で認識する．
2. 効果的実時間映像生成：認識の結果得られた移動対象の3次元的位置，形状，動作を人間に分かりやすい多様な形態の映像情報として表示する．

ことを目的としている．

こうした分散協調視覚システムを利用すれば，実時間広域監視・交通管制システム，遠隔会議・講義システム，3次元立体テレビシステム・知的テレビスタジオ，舞踊・スポーツなど高度な身体技能の詳細な3次元映像記録，さらには，サッカーなど移動ロボット群によるチームプレイが実現できる．

多重画像の統合による多機能高精度視覚センサの開発

フォーカスや視線方向などのカメラパラメータを規則的に変化させながら撮影した多数枚の画像（多重画像）を統合し有効な情報を持った画像を生成する「多重画像の統合」という考え方に基づき，以下の4種類の視覚センサを開発し，その有効性を実験によって示した．

1. 実時間3次元距離画像計測用多重フォーカスカメラ（特許取得済）
2. 高精度全天空全方位パノラマ画像撮影用視点固定型パン・チルトカメラ
3. 全天空全方位パノラマ距離画像撮影用視点固定型3眼ステレオカメラ
4. 高精度カラー画像撮影用分光スペクトルカメラ

視点（投影中心）を固定したまま，視線方向を変化させることができる首振りカメラ（視点固定型パン・チルトカメラ）を用いて高解像度全天空全方位パノラマ画像を撮影し，得られた画像を多様な表現で表示するソフトウェアを開発した（図2）． このデモでは，視点固定型パン・チルトカメラとそれで撮影された高精度全天空全方位パノラマ画像を紹介する．

実時間対象追跡システムの開発

通常の首振りカメラを用いた場合は，首を振ると画像に写される対象の形が大きく変化するため，それを補正するための処理が必要となり，処理速度および対象検出精度に問題が生じる． これに対して視点固定型パン・チルト・ズームカメラを用いると，いくら首を振っても対象の見え方は一定であるため，単純な画像処理で移動対象を捉えることができる． 本研究では視点固定型パン・チルト・ズームカメラを用いて，実時間で対象を追跡するシステムを開発した． 実時間対象追跡では，ビデオ映像処理プロセスとカメラ制御プロセスが実時間で情報交換を行う必要がある． 本研究では，そのためのメカニズムとしてダイナミックメモリ（特許申請中）という新たな共有メモリ機構を考案し，その有効性を実証した．

このデモでは，

1. ダイナミックメモリを用いた実時間人物追跡システム
2. 人間の頭部モデルを用いた複数人物の実時間追跡システム（図3）

の実演を行う．

能動視覚エージェント群による複数対象の協調的追跡

本研究では，ネットワーク結合された観測ステーションを視覚・行動・通信機能を持った能動視覚エージェントと考え，多数の能動視覚エージェントが協調しながら複数の対象を追跡するシステムの開発を通じて，視覚・行動・通信機能の動的統合方式の研究を行っている． 開発したシステムでは，以下の3レベルでの動的インタラクションによって，多様な動きをする複数対象を適応的に追跡する機能が実現できた．

1. モジュール間インタラクション：1つの能動視覚エージェントを構成する視覚，行動，通信モジュール間の相互作用
2. エージェント間インタラクション：同一の対象を追跡している複数のエージェントはエージェンシと呼ばれる組織を作り，追跡対象に関する情報を交換してその3次元位置・形状を求める．
3. エージェンシ間インタラクション：複数対象の交差や新たな対象の出現にうまく適応するため，異なった対象を追跡しているエージェンシ間で交渉を行い，各対象の追跡を最適化する．

複数対象の協調的追跡を行うシステムの構成を示すとともに，エージェンシ間の交渉プロトコル（図4）およびシステムを使った追跡実験例をビデオで紹介する．

動的3次元シーンの能動的映像化

上記の対象追跡システムを用いれば，広い範囲を動き回る対象の映像化が容易に実現できる． 本研究では，対象追跡システムを利用した以下の3つの映像化システムを開発した．

1. 能動カメラによる遠隔モニタリング：対象を撮した観測ビデオ映像を背景パノラマ画像に埋め込んだ画像を合成して表示する． これによって，中心視ビデオ映像と周辺視パノラマ画像の自然な合成が実現できる．
2. シナリオに基づく動的シーンの効果的映像化システム：人物の動きに応じて複数のカメラの切り換え，首振り制御を行い，その場の状況を効果的に映像化する．
3. 3次元ビデオ映像の撮影・表示システム：ダンスやスポーツをする人間の動作を異なった多くの視点から同時に撮影したビデオ映像から，その人間の3次元の姿，形，動きを実時間で撮影し，任意の視点からの映像として再生，表示する．

3次元ビデオ映像は，実世界の対象（たとえば，ダンスをする人間）の姿・形・色をそのまま記録した立体ビデオ映像であり，対象を見る位置や方向，倍率を自由に設定することができる（図5）． また，立体ディスプレイを使えば立体ビデオが楽しめる． このデモでは，我々が開発した3次元ビデオ映像撮影システムのアーキテクチャ，処理方式をパネルを使って紹介するとともに，撮影された3次元ビデオ映像を対話的に編集・表示するシステムの実演を行う．

3次元講義空間の動的状況把握による映像生成法

本研究では，遠隔講義のための自動映像撮影システムの開発を行った． 臨場感のある遠隔講義を実現するには，講義室で何が起こっているか（これを動的状況と呼ぶ）を把握することと，動的状況に対して利用者毎にその希望に合わせた適切な映像を同時並行して生成することが必要である． 本研究では，効果的な映像生成法として，

1. 受講者の希望を最大限尊重した映像生成
2. 講義室の動的状況を最も良く捉えた映像生成

を考え，この両視点から講義映像の自動撮影を行うシステムを開発し，アンケート調査によってその有効性を検証した．

開発したシステムを用いて，実際にUCLAと京大との間で遠隔講義を行ったときの様子（図6）とその評価をビデオによって紹介する．

視覚に基づくロボットの多種行動の獲得及び統合方式の開発

本研究では，視覚を備えた移動ロボット群に統一の取れたチームプレイ動作を行わせるためのロボット間の協調及び競合行動を視覚に基づいた強化学習によって獲得する手法を考案し，その有効性を実ロボットによる実験によって検証した． 特に本研究では，物理的身体性を持ったロボットに協調動作を行わせるには，いわゆる「アイ・コンタクト」のようなメッセージ通信なしのコミュニケーションを実現することが重要であると考え，そのための視覚機能や行動制御方式を研究対象とした． 具体的な問題設定としては，ロボットによるサッカー競技を取り上げ，ドリブル，シュートなどの個々のロボットの行動，パス，センタリングなどの複数ロボット間の協調行動，さらにはブロックなどの競争行動を視覚に基づいた学習によって獲得するための方式を開発した． この問題は，敵・味方に分かれた多くのロボット群が存在するという環境の中で，他の個々のロボットの行動理解及びチームとしての行動戦略パターンの理解などといった高度な視覚認識の問題を含んでいる．

このデモでは，実際の移動ロボットを使って図7に示すようなサッカーにおける各種のプレイを行わせることによって，行動学習の有効性を示す．