カメラのフレームレートを３倍に上げてみた

カラーカメラの色情報を引き換えにフレームレートを３倍に上げてみました。

原理

一般的なカラーカメラは色の３原色（RGB）に相当する光の情報を計測するために、1つの撮像素子の場所ごとに異なる色フィルタが貼り付けられています。

ここで暗室でボールが動くシーンを考えます。このシーンをカメラで撮影するとき、露光中にストロボのように一瞬だけ光を発光させると、発光させた瞬間のボールを撮影することがきます。照明を赤・緑・青の光にして、露光中に一瞬だけ別々のタイミングで順番に発光させます。すると、赤色の光を発光させた瞬間はRチャンネルにだけシーンが記録され、G・Bには記録されません。緑・青についても同様に対応したチャンネルだけにシーンが記録されます。撮影されたカラー画像を各チャンネルに分解すると３枚の連続したグレースケール画像になります。

この方法を動画に適用することで色の情報を失う代わりにフレームレートを擬似的に３倍にすることができます。 

実験

実際にやってみます。

RGB照明には各色のLEDを使いました。発光の制御はマイコンで行なっています。

撮影するカメラはiPhone SEです。マニュアル撮影するためにMusemageというアプリを使いました。フレームレートは30fpsで露光時間は1/30に設定しました。 

結果

結果は以下のようになりました。

分解した画像をみてみるとB→R→Gの順でボールの位置が変化してる様子が記録できていることがわかります。

動画にも適用しました。最初のカラー映像が入力映像で、次のモノクロ映像が処理した結果です。

滑らかになりましたね。やったぜ。