あらいさん日記（仮）

あらい日記

活動の記録

実践！照度差ステレオ＜実画像編＞

電子工作 照度差ステレオ ライトトランスポート

前回のシミュレーション編に続き、現実の物体に対して照度差ステレオを適用します。

撮影システム

自動で撮影できるシステムを組みました。

撮影から処理までの流れは全てpythonで管理されています。一部の処理にはコマンドラインツールを利用していますがsubprocessで呼び出しています。

f:id:raccoon15:20180813195510j:plain

光源

光源は白色チップLED（白亜化学工業 NSSW157T）を使いました。光量を確保するためLEDを３個並べて１つの光源としました。

LEDの点灯はマイコン（mbed LPC1114）を用いて制御しています。マイコンとPCはシリアル通信で通信でき、PC側から送信する信号によって最大８個までのLEDの点灯を制御できるようにしました。

f:id:raccoon15:20180812164543j:plain

Woodhamの照度差ステレオでは平行光源を仮定しています。そのためチップLEDを被写体に対して十分に離れた距離に配置することで平行光源として近似できるようにしました。また光源の強さを同じにするために、被写体とLEDの距離が等しくなるように配置しました。

カメラ

カメラはCanon EOS 6D、レンズはEF40mm F2.8 STMを使いました。gphoto2を使ってPC側からカメラのシャッターを制御できるようにしました。

カメラは平行投影に近づけるために望遠レンズを使って撮影することが望ましいですが、手元にあるレンズのうちで焦点距離が１番長いレンズが40mmしかなかったのでこれを使いました。

RAWデータの処理

一般的なカメラは、入射光強度をカメラ応答関数で非線型な変換をして画素値に対応させています。照度差ステレオでは入射光強度を扱っているため、入射光強度と画素値は線形な関係である必要があります。そこでRAW画像で撮影して、線形になるように現像しました。現像にはdcrawを使いました。オプションを"-4 -T"にすると線形で現像されたTIFF形式のデータを出力してくれます。

光源方向の推定 

光源方向の推定のための鏡面反射成分を持つ球としてボール球を使いました。完全な球ではないのですが安価に手に入ったのでこれを使いました。（追記（2018/12/25）:最近、鏡面球を手に入れました。これからはそちらを使うつもりです。）

f:id:raccoon15:20180812164824j:plain

実験

３つの光源で撮影された３枚の画像から照度差ステレオを実行しました。 撮影対象は3Dプリンターで印刷した物体（ABS樹脂）と石です。

f:id:raccoon15:20180813182845j:plain

結果

実験結果です。左の図が撮影対象、中の図が法線マップ、右の図が反射率マップです。

f:id:raccoon15:20180813183139j:plain
f:id:raccoon15:20180813183152j:plain
f:id:raccoon15:20180813183155j:plain
f:id:raccoon15:20180813183104j:plain
f:id:raccoon15:20180813183116j:plain
f:id:raccoon15:20180813183120j:plain
f:id:raccoon15:20180813183218j:plain
f:id:raccoon15:20180813183228j:plain
f:id:raccoon15:20180813183232j:plain
f:id:raccoon15:20180813183245j:plain
f:id:raccoon15:20180813183256j:plain
f:id:raccoon15:20180813183259j:plain
f:id:raccoon15:20180813183033j:plain
f:id:raccoon15:20180813183045j:plain
f:id:raccoon15:20180813183049j:plain

 

実践！照度差ステレオ＜シミュレーション編＞

照度差ステレオ コンピュータグラフィックス ライトトランスポート

照度差ステレオとは

照度差ステレオ(photometric stereo)は陰影を情報として画像の法線情報を得ることができる手法です。Woodhamが提案したランバート面における照度差ステレオ*1は、3つの異なる平行光源で撮影された３枚の画像から法線マップを求めることができます。

単位光源ベクトルを\boldsymbol{s}、物体表面の単位法線ベクトルを\boldsymbol{n}、物体表面の反射率を\rhoとするとき、その点での明るさiは以下のように表せられます。

i = \rho \boldsymbol{n}  \cdot \boldsymbol{s}

3つの異なる光源\boldsymbol{s_1}, \boldsymbol{s_2}, \boldsymbol{s_3}で撮影するとき、明るさi_1, i_2, i_3は以下のような行列式で書き表すことができます。

\begin{pmatrix} i_1 \\ i_2 \\ i_3 \end{pmatrix} = \rho \begin{pmatrix} \boldsymbol{s_1}^{\mathrm{T}} \\ \boldsymbol{s_2}^{\mathrm{T}} \\ \boldsymbol{s_3}^{\mathrm{T}} \end{pmatrix}\boldsymbol{n}

この式を解くことにより法線ベクトルと反射率を求めることができます。

また３つ以上の光源で撮影された画像を用いる場合は、以下の式を最小二乗法で解くことによって求めることもできます。

\begin{pmatrix} i_1 \\ \vdots \\ i_n \end{pmatrix} = \rho \begin{pmatrix} \boldsymbol{s_1}^{\mathrm{T}} \\ \vdots \\ \boldsymbol{s_n}^{\mathrm{T}} \end{pmatrix}\boldsymbol{n}

データセットの準備

照度差ステレオのデータセットはPOV-Rayを使って合成しました。今回対象とする物体は下の図のような、2つの木の球がくっついたような物体です。地面に対して垂直となる方向から物体を撮影した画像をデータセットとして使いました。

f:id:raccoon15:20180713002228p:plain

２次元画像での法線の取り扱いについて

２次元画像における法線の取り扱いについて説明します。法線マップはRGBの３チャンネルに対して法線方向xyzを対応させています。下の画像は球の法線マップです。法線方向が-1.0から1.0の値を法線マップでは0から255に変換しています。

f:id:raccoon15:20180714103738j:plain

 光源方向の推定

光源方向の推定を行い、光源ベクトルを求めます。推定には鏡面反射成分を持つ球使います。

f:id:raccoon15:20180712234956p:plain

撮影した球の画像から画像中のハイライトの位置を求めます。球の形状は既知なので中心位置と半径がわかれば、画像中の球の各点での法線が求まります。ハイライトの位置の法線ベクトルを\boldsymbol{n}、撮影した方向を表す視線ベクトルを\boldsymbol{v}とすると、光源ベクトル\boldsymbol{s}は以下の式で求めることができます。

\boldsymbol{s} = 2(\boldsymbol{n} \cdot \boldsymbol{v})\boldsymbol{n} -\boldsymbol{v}

視線ベクトル\boldsymbol{v}はカメラの方向なので\boldsymbol{v}=(0,0,1)となります。

結果

下のシーンで照度差ステレオをやってみました。データセットに8つの光源で撮影した８枚の画像を使いました。

f:id:raccoon15:20180712234929p:plain

法線マップです。f:id:raccoon15:20180712234839j:plain

反射率マップです。（修正（2018/12/22）:グレイスケールだったので、カラーに差し替えました）

f:id:raccoon15:20181222221745j:plain

 

プログラム

使用したプログラムをGitHubに置いておきます．

github.com

参考資料

http://pages.cs.wisc.edu/~lizhang/courses/cs766-2008f/syllabus/10-09-shading/shading.pdf

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)

 
コンピュータビジョン: 広がる要素技術と応用 (未来へつなぐデジタルシリーズ)

コンピュータビジョン: 広がる要素技術と応用 (未来へつなぐデジタルシリーズ)

 

*1:Robert J. Woodham, "Photometric Method For Determining Surface Orientation From Multiple Images," Optical Engineering 19(1), 191139 (1 February 1980).

POV-RayでCG制作してみる

コンピュータグラフィックス

POV-Rayとは

POV-Rayはレイトレーシングによって３次元CGを制作できるソフトウェアです。シーンファイルを記述し、レンダリングすることでシーンの画像を得ることができます。オープンソースであるなどの理由から研究ツールとしてもよく用いられているらしいです。 

今回は以下の本を参考にして進めました。

POV-Rayによる3次元CG制作 -モデリングからアニメーションまで-

POV-Rayによる3次元CG制作 -モデリングからアニメーションまで-

  

やってみる

 GUI用のソフトもありますが、MacであればHomebrewでインストールできます。これでコマンドライン上でレンダリングを実行することができます。

brew install povray

まずは適当なエディタで、シーンファイルを記述します。シーンファイルは基本的にカメラ・照明・物体の3つで構成されています。

#include "colors.inc"
#include "shapes.inc"

camera{
	location <0, 2, 5>
	look_at <0,1,0>
	angle 60
}

light_source {<5,10,5>　color White} 

object {
	Sphere
	translate<0, 1, 0>
	pigment{color Red}
}

object{
	Plane_XZ
	pigment{checker color White, color Black}
}

このシーンファイルをレンダリングします。

povray scene.pov

すると記述したシーンの画像を得ることができます。

f:id:raccoon15:20180626215318p:plain

今回は球と床だけの簡単なシーンだけでした。繰り返しや条件分岐をすることでいくつかの物体を並べたり、模様や質感を設定することでフォトリアリスティックなCGを制作することができます。

 作品

宙に浮いているプリズムに上から光を当ててみました。

f:id:raccoon15:20180627012608p:plain

while文で作った螺旋階段です。照明を階段の上の方に配置したらなんだか神々しくなりました。

f:id:raccoon15:20180626213902p:plain

惑星を光沢のある石っぽくしてみました。

f:id:raccoon15:20180626213837p:plain


 

直接成分と大域成分の分離をやってみた

ライトトランスポート

概要

Nayarら*1の手法を用いて、シーン中の直接成分と大域成分の分離をやってみました。

CAVE | Projects: Fast Separation of Direct and Global Images

はじめに

光源で照らされたシーンの輝度を観測した時に、直接成分(direct component)と大域成分(global component)の2つの成分に分けることができます。直接成分は光源から出た光が直接照らしている成分です。大域成分はシーンの他の点が間接的に照らしている成分です。Nayarらは照明としてプロジェクターで白と黒を交互に配した市松模様を投影することで、2つの成分を分離する方法を提案しました。

実験

撮影対象は色画用紙で作った多面体です。オレンジ色の棚の上に置いて、後ろの背景にホワイトボードを設置しています。

f:id:raccoon15:20180602192345j:plain
市松模様のサイズは8×8ピクセルの正方形で、３ピクセルずつ動かしました。プロジェクターの解像度に合わせて1280×800の市松模様の画像を合計３０枚投影しました。カメラはCanon EOS 6DでレンズはEF40mm F2.8 STMを使いました。ISOは100、f値は8、露光時間は1/128です。

結果

撮影して処理した結果を下の図に示します。左の図が撮影したシーン、中の図が直接成分のみのシーン、右の図が大域成分のみのシーンです。

f:id:raccoon15:20180602182043j:plain
f:id:raccoon15:20180602182048j:plain
f:id:raccoon15:20180602182052j:plain
左：シーン　中：直接成分　右：大域成分

多面体の凹んだ部分に注目すると、大域成分が強く観測できます。これは凹んだ部分同士の相互反射による間接光で照らされているためだと考えられます。

ホワイトボードの薄い緑色の部分に注目すると、直接成分は緑色の部分がなく、大域成分だけに現れています。これは、ホワイトボードなどから反射した光が、多面体で反射してホワイトーボードに返って照らしているためだと考えられます。

このように、シーンから直接成分と大域成分に分離することができました。（ただし、多面体の右上のホワイトボードにあるスペキュラは白トビしてしてしまっているので、この部分の処理結果は正しくありません。）

*1:S. K. Nayar, G. Krishnan, M. D. Grossberg, and R. Raskar. Fast separation of direct and global components of a scene using high frequency illumination. In Proceeding ACM SIGGRAPH, pages 935–944, 2006.

カメラのフレームレートを３倍に上げてみた

分光

カラーカメラの色情報を引き換えにフレームレートを３倍に上げてみました。

原理

一般的なカラーカメラは色の３原色（RGB）に相当する光の情報を計測するために、1つの撮像素子の場所ごとに異なる色フィルタが貼り付けられています。

ここで暗室でボールが動くシーンを考えます。このシーンをカメラで撮影するとき、露光中にストロボのように一瞬だけ光を発光させると、発光させた瞬間のボールを撮影することがきます。照明を赤・緑・青の光にして、露光中に一瞬だけ別々のタイミングで順番に発光させます。すると、赤色の光を発光させた瞬間はRチャンネルにだけシーンが記録され、G・Bには記録されません。緑・青についても同様に対応したチャンネルだけにシーンが記録されます。撮影されたカラー画像を各チャンネルに分解すると３枚の連続したグレースケール画像になります。

f:id:raccoon15:20180429005831j:plainこの方法を動画に適用することで色の情報を失う代わりにフレームレートを擬似的に３倍にすることができます。 

実験

実際にやってみます。

RGB照明には各色のLEDを使いました。発光の制御はマイコンで行なっています。

f:id:raccoon15:20180429014625j:plain

撮影するカメラはiPhone SEです。マニュアル撮影するためにMusemageというアプリを使いました。フレームレートは30fpsで露光時間は1/30に設定しました。 

結果

結果は以下のようになりました。

f:id:raccoon15:20180429020849j:plain

分解した画像をみてみるとB→R→Gの順でボールの位置が変化してる様子が記録できていることがわかります。

動画にも適用しました。最初のカラー映像が入力映像で、次のモノクロ映像が処理した結果です。

滑らかになりましたね。やったぜ。