あらいさん日記(仮)

あらい日記

活動の記録

直接成分と大域成分の分離をやってみた

概要

Nayarら*1の手法を用いて、シーン中の直接成分と大域成分の分離をやってみました。

CAVE | Projects: Fast Separation of Direct and Global Images

はじめに

光源で照らされたシーンの輝度を観測した時に、直接成分(direct component)と大域成分(global component)の2つの成分に分けることができます。直接成分は光源から出た光が直接照らしている成分です。大域成分はシーンの他の点が間接的に照らしている成分です。Nayarらは照明としてプロジェクターで白と黒を交互に配した市松模様を投影することで、2つの成分を分離する方法を提案しました。

実験

撮影対象は色画用紙で作った多面体です。オレンジ色の棚の上に置いて、後ろの背景にホワイトボードを設置しています。

f:id:raccoon15:20180602192345j:plain
市松模様のサイズは8×8ピクセルの正方形で、3ピクセルずつ動かしました。プロジェクターの解像度に合わせて1280×800の市松模様の画像を合計30枚投影しました。カメラはCanon EOS 6DでレンズはEF40mm F2.8 STMを使いました。ISOは100、f値は8、露光時間は1/128です。

結果

撮影して処理した結果を下の図に示します。左の図が撮影したシーン、中の図が直接成分のみのシーン、右の図が大域成分のみのシーンです。

f:id:raccoon15:20180602182043j:plain
f:id:raccoon15:20180602182048j:plain
f:id:raccoon15:20180602182052j:plain
左:シーン 中:直接成分 右:大域成分

多面体の凹んだ部分に注目すると、大域成分が強く観測できます。これは凹んだ部分同士の相互反射による間接光で照らされているためだと考えられます。

ホワイトボードの薄い緑色の部分に注目すると、直接成分は緑色の部分がなく、大域成分だけに現れています。これは、ホワイトボードなどから反射した光が、多面体で反射してホワイトーボードに返って照らしているためだと考えられます。

このように、シーンから直接成分と大域成分に分離することができました。(ただし、多面体の右上のホワイトボードにあるスペキュラは白トビしてしてしまっているので、この部分の処理結果は正しくありません。)

*1:S. K. Nayar, G. Krishnan, M. D. Grossberg, and R. Raskar. Fast separation of direct and global components of a scene using high frequency illumination. In Proceeding ACM SIGGRAPH, pages 935–944, 2006.