Microsoft HoloLensは、現実空間の位置情報と紐付け、デジタルの情報や物体をスクリーンを通して装着した人に見せることができるので、人間の視覚を拡張するものとして利用することができます。
これまで、Node-REDと照明のDALIゲートウェイを利用して、HoloLensから現実空間にある照明を使って光を使うことをやってきましたが、その中で単純な疑問が湧き上がりました。
「光の無い空間。つまり真っ暗闇の中でHoloLensを使えるのだろうか？」
ということ。
もしそれができれば、人間の視覚が機能しない暗闇の中でも正しく安全に人を誘導することができます。
また、エンタテーメント用途として空間さえ用意すれば、音とデジタルの3Dオブジェクトを使ってお化け屋敷のようなこともできるのでは？と、妄想がとまりません。
暗闇でHoloLnesは使えるのか？
さっそく、白シャツブラザーズ次男の田中正吾が実験。
上の画像が暗闇でHoloLensを立ち上げたところ。
“Ttrying to map your surroundings(マッピングしようとしています） Use in limited mode(リミテッドモードでつかう）”と表示され、下のボタンをタップすると”Limited mode”になります。
つまり、”暗闇でHoloLnesは使えるのか？”の問いについてはLimited modeなら使えるけど、通常どおりには使えないという結果でした。
Limited mode(リミテッドモード）とは？
マイクロソフトのドキュメントにはLimited Modeについてこのように書かれています。
If you are using HoloLens in a new space and are not connected to a WiFi network, you can use HoloLens in Limited Mode. Limited Mode prevents holograms from being placed in your world. In Limited Mode, holograms are fixed to your gaze.
新しい空間でHoloLensを使用していて、WiFiネットワークに接続していない場合は、HoloLensをリミテッドモードで使用できます。リミテッドモードはホログラムがあなたの世界に置かれるのを防ぎます。リミテッドモードでは、ホログラムが視界に固定されます。
What can I do with HoloLens offline
通常はオブジェクトやウインドウを位置を決めて置くことができるのですが、Limited modeだとスクリーンに固定されたままになります。さらに、暗闇の中ではオブジェクトを置こうとすると、奈落におちてしまい、お気に入りのバレリーナとかマッチョとかが私の世界にとどまってくれません。
暗闇の中でHoloLensを使いたい時はどうすればいいのか
では、暗闇の中でHoloLensを使いたい時はどうすればいいのでしょうか？
単純に光が無いからLimited Modeになってしまうので、暗闇の中でHoloLensに光をあてれば使えるのではないかと考えました。
ただし、人間には見えなくてHoloLensには見える光。つまり赤外（IR)の光です。
実験：赤外光を当てれば暗闇でもHoloLensは使えるのか？
実験の目的
暗闇のままではHoloLensはLimitedModeになってしまうので、赤外光を当てて通常のように使えるのであれば、赤外光をつかった照明器具を空間に配置することで人間にとって暗闇でもHoloLensを通常のように使え、HoloLensの暗闇での用途ができるので、その確認をおこなうこと。
実験方法
会社のフロアにある「湯沸室」で暗闇を作りその中でHoloLensを使用。LimitedModeの状態から赤外投光器を点灯させて解除されるかどうかを判断する。
実験機材
私のいる会社（日本ピー・アイ）でも出展していた「OPIE2017 赤外・紫外応用技術展」にて知り合ったアルワン電子株式会社さんから、近赤外領域の760nmと870nmの波長の投光器をそれぞれお借りしてそれを使いました。
↓ こちらが760nmの投光器
↓ こっちは870nmの投光器
ちなみに、どちらも赤外LEDの素子を別メーカーの照明器具の中にいれるべく改造していますので、どちらも実験用サンプル品です。ご注意ください。
そして、HoloLens
実験の様子
湯沸室の照明を点灯した状態はこちら。
こちらに、IR投光器をこのように設置し、壁面に光をあてる形にします。
まずは湯沸室のドアを閉めて真っ暗な状態。
この時のHoloLensは「Ttrying to map your surroundings」と表示され「Use in Limited Mode」のボタンが表示されます。
ここで、「Use in Limited Mode」のボタンをおした画面。なんとなく前が明るくなっているのは、HoloLensについているインジケーターの光です。
この状態で湯沸室の照明を明るくすると、ウインドウの一番下が緑色になり「Exit Limited mode」とリミテッドモードを解除できるようになります。
次に湯沸室の照明を消して暗闇に戻します。
いよいよ赤外線の実験です。まずは760nmの投光器を点灯。この波長は人から見えるので赤い光が壁にうつります。
すると、ウインドウ下が緑になり、「Exit Limited mode」が表示されリミテッドモードが解除できるようになりました。
次に、870nmの投光器を点灯。これは人間では見えないので真っ暗です。
HoloLensでみると、この状態では「Ttrying to map your surroundings」と表示されます。
壁面に照射したので光の量が少ない可能性もあるため、1mぐらいからの距離から870nmの赤外線投光器でHoloLensに直接光を当ててみました。
結果、ウインドウ下が緑色になり「Exit Limited mode」の表示がでました。
実験まとめ
暗闇の中で赤外光を照射すればLimited modeは解除できるかどうか？の検証にたいしての結果は以下の通りでした。
760nmの光を照射すれば「Limited Mode」を解除することはできますが、使い方によっては赤い光が見えてしまいます。でも、照明器具の配光やどんなふうに照明器具を配灯するかを考えることによって、ある程度のコントロールはできるのではないかとおもいます。
870nmの赤外光については、人から見えることは無いものの、760nmと比較すると光量は大幅に多くしないとLimitedModeは解除できなさそうです。
結論の前に
実はこの実験をするまではHoloLensが普通のCCDとKinect用の赤外カメラしかないとおもっていたのですが、Build InsiderさんのサイトとマイクロソフトのドキュメントにHoloLensのセンサーについて説明がありました。
MRとは？ HoloLensのハードウェア／機能／アプリ動作／ユーザー操作 – Build Insider
しかも、「Ambient light sensor（照度センサー）」がついているようです。
実験では870nmの赤外光を近づけたときにLimited Modeが解除できたのですが、こうなった理由がどこのセンサーとカメラからの入力値が変わったからこうなったのかという疑問がわいてきました。
ちなみに、Depthカメラと環境認識カメラは、それぞれ自ら発光するIRがエミッターがついているので、暗闇であってもそれなりに入力はあるとおもわれます。
そうなると、通常カメラとAmbient Light Sensorの２つが大きな役割をしていそうなのですが、ここらへんを検証すると、暗闇の中でもっと効率的な使い方ができそうな気がします。
まとめ
HoloLensはいくつかの入力情報を総合的に判断して動作するようなので、LimitedModeに光が関連する部分については、Ambientセンサーや通常カメラなどを塞いだりして実験すれば、実際にどれが影響しているのかがわかりそうです。
ちなみに、Ambientセンサーがどこについているのがわからないのですが、どなたかご存知の方おられましたら教えてください。
次は、Ambientセンサーと通常カメラを中心に、どんなときにLimitedModeが解除されるのかを調べてみたいとおもいます。
