3D2

研究目標

3D 定義

深度感知

生理與心理3D視覺

生理立體視覺

3D History

3D vs 2D

3D vs 2D

傳統3D 市場

數位時代的 3D 市場

3D 市場問題

內容生產方式

Photography Approach

3D攝影之現存問題

3D 立體照片之拍攝

3D 攝影設備

DIY 3D 之好處與問題

3D 構圖

3D 立體照片之觀賞

人類3D視覺原理 (假說)

Fusion (融合)

欺騙大腦的3D視覺

觀賞3D照片之方式

左右分離

Color Filter

光柵

Side-by-Side Layout 的 3D 觀賞方式

離焦融合 與 裸眼3D

Stereoscope

3D Book

DIY 3D Photography

一條龍的工作流程

需求

醉眼式裸眼觀賞3D照片

練習

Random Dot Stereogram

醫療上的應用

文化藝術品的數位典藏

精雕細琢與複雜結構的典藏品

運用特寫3D 表現

擴充博物館能量

Dynamic 3D

無解的生理問題

Summary

飛機軍艦

中正紀念堂

台北麗正門

林家花園

古蹟

老街

老建築

廟宇 廟宇

恐龍

博物館

動物園

仙人掌

其他

桃園

Research Topics

Untitled Document
研究目標 
 
發展簡便的3D照片影片
製作與觀賞技術   
縮短拍攝與觀賞之週期
Fri Sep 9 21:34:04 CST 2016 Untitled Document
3D 定義
 
五花八門的3D定義，令人眼花撩亂，無所適從
3D - 平面 (x,y) +深度 (z)
3D視覺能力 -- 除了能感知平面影像外，還能感知深度(距離)
Fri Sep 9 21:34:04 CST 2016 Untitled Document
深度感知
世界本是三維世界，人類及動物如何感知 3D 的世界?
蝙蝠用聲納測量距離
人類沒有聲納，如何測量距離?

 

 
人類利用雙眼獲得外界影像，類似兩部照相機，再利用雙眼影像之差異測量距離
 
視網膜上的影像，人類無法分辨其來源，因此可被欺騙
 
馬的雙眼長在頭的兩側，能感知 3D 的世界嗎?
Fri Sep 9 21:34:04 CST 2016 Untitled Document
生理與心理3D視覺
 
人類的3D視覺能力依賴 生理 及 心理 功能
生理3D視覺
心理3D視覺
依靠雙眼視差(binocular parallax) 產生 3D視覺
有效視角 約 5-12 度
依靠 經驗 感覺 3D視覺
e.g. 物品的大小，前後遮蔽，物體的清晰度
3D Photography 利用生理3D視覺欺騙大腦
3D Painting 利用心理3D視覺欺騙大腦
Fri Sep 9 21:34:05 CST 2016 Untitled Document
生理立體視覺
利用生理立體視覺能力感知外界實物 

人類雙眼視網膜上捕捉到   3D實物 的影像傳到腦中,
而腦中經由運算得到眼睛與   實物 間的距離
人工 3D 立體視覺
 
人類利用生理立體視覺能力觀看3D照片獲得立體視覺 
人類雙眼視網膜上捕捉到   3D照片 的影像傳到腦中,
而腦中經由運算得到眼睛與   虛擬實物 間的距離
   
人工 3D 立體視覺獲得的 深度感覺並非真正的深度，而是眼睛與 虛擬實物 間的距離
   
虛擬世界中各物件之間的相對深度 不會改變 (如果3D照片是正常的拍攝)
   
如果拍攝不正常，各物件之間的相對深度可能會改變
Fri Sep 9 21:34:05 CST 2016 Untitled Document
3D History
雙眼視差 (binocular parallax)
 
大概在西元前 400 年左右,西臘的毆基里德 (euclid) 首先發現,人類之所以能洞察立體空間, 主要是因左右眼所看到的景物不同而產生。 這個現象如今通稱為雙眼視差 (binocular parallax)。
立體体照相的起源
 
英國 Wheatstone 爵士于 1838 年發明了立體鏡(stereoscope)。 先模擬兩眼利用相機拍攝兩張具有視差的左右兩張照片，再用立體鏡觀賞。
 
立體鏡是由兩面彼此垂直的鏡子所組成, 左右照片放置在照片的夾具上,使用者將照片調整至適當位置即可看到立體影像。
 
1849 年, David Brewster 以凸透鏡取代立體鏡中的鏡子,發明了改良型的立體鏡。
Fri Sep 9 21:34:05 CST 2016 Untitled Document
3D vs 2D
3D能展現臨場感
3D能展現被攝物之立體結構，提升可辨認度
 
2D 攝影中表現被攝物的層次感的方法:
利用光影技巧
使用淺景深的大光圈鏡頭模糊化背景
 
3D 攝影使用簡單相機及技術即可達到相同目的
Fri Sep 9 21:34:05 CST 2016 Untitled Document
3D vs 2D 

  2D garbage could be 3D treasure
 
廟宇的屋頂常有繁複的裝飾 在2D 照片中前後相疊， 相當難以分辨，但3D照片中則很清楚的前後分離。
 
松山慈祐宮古廟龍柱上的先民生活石雕
 
Vienna St. Stephans' Cathedral 外牆石雕
 
朱銘太極雕塑
Fri Sep 9 21:34:05 CST 2016 Untitled Document
傳統3D 市場
Viewmaster
Fri Sep 9 21:34:05 CST 2016 Untitled Document
數位時代的 3D 市場
3D VR Glasses (A digital Viewmaster)
3D 顯示設備
Glasses
(主動式, 被動式)
3D TV
3D Projector
3D Monitor
Naked-Eye
3D Tablet PC
3D Smart Phone
Fri Sep 9 21:34:05 CST 2016 Untitled Document
3D 市場問題
3D 市場 (設備及內容) 現存問題
 
從傳統走向數位時代， 為何3D 市場沒有如同數位照相機般呈現爆炸性成長?
3D 內容的產生極度困難
   
3D 電影製作成本高昂
   
個人拍攝3D照片不易
Fri Sep 9 21:34:05 CST 2016 Untitled Document
內容生產方式
Geographic Model (3D Graphic)
1. 利用掃描或演算法或人工建立電腦模型
2. 利用 3D Graphic 技術產生3D影像
+ 可以在電腦上隨意旋轉
+ 可從任意角度觀賞
- 但非常耗時費力
e.g. Smithsonian X 3D
e.g. 3D Toy Story
3D Photography
利用照相機直接拍攝目標物
+ 省時省事
- 每幅3D照片僅能記錄一個角度
+ - 易學難精
Fri Sep 9 21:34:05 CST 2016 Untitled Document
Photography Approach 

Photography Approach
Fri Sep 9 21:34:05 CST 2016 Untitled Document
3D攝影之現存問題
現有3D攝影的基本問題 -- 易學難精
高品質器材昂貴
觀賞不便
Fri Sep 9 21:34:05 CST 2016 Untitled Document
3D 立體照片之拍攝 

 
用相機模擬兩眼，
從左右兩個視角各拍一張照片
被攝物與兩眼夾角約 5-12 度
baseline 約為 被攝物距離之 1/30
Fri Sep 9 21:34:06 CST 2016 Untitled Document
3D 攝影設備
現有中低階的3D攝影機或3D手機
3D 照相機 (e.g. Fujifilm W3) 受限於兩鏡頭間距 被攝物之有效距離約 10-30m
功能遠低於單眼相機
(poor lens, limited zooming range, small sensor size )
僅能方便的在原器材上觀賞
(Difficult to display on other 3D devices )
(No standard format )
(Screen size dependent )
DIY 3D
 
單相機自左右各拍一張
 
雙相機
Fri Sep 9 21:34:06 CST 2016 Untitled Document
DIY 3D 之好處與問題
Goodness
 
可以突破 3D 相機之限制, 製作高品質的 3D 照片 (sterogram)
Issues
需要繁瑣的後製作
(selection, pairing, alignment, format convertion)
後製過程中沒有方便的觀賞方法或工具 (previewer)
Fri Sep 9 21:34:06 CST 2016 Untitled Document
3D 構圖
 
3D 攝影之構圖技巧與 2D 迥異，須大量練習
 
拍攝與觀賞的週期太長，導致拍攝技巧累積不易，學習不易，無法快速提升 3D 攝影能力
3D 構圖之目標
能表現被攝物之3D結構者為佳
能展現各層次之相對深度
能展現臨場感
能降低觀賞之不適感
 
!! 僅有簡單教材，沒有專業級的3D攝影教材 !!
 
!! 累積拍攝經驗太難 !!
Fri Sep 9 21:34:06 CST 2016 Untitled Document
3D 立體照片之觀賞 

3D 立體照片之觀賞
Fri Sep 9 21:34:06 CST 2016 Untitled Document
人類3D視覺原理 (假說)

 

Focus Fusion
Fri Sep 9 21:34:06 CST 2016 Untitled Document
Fusion (融合)
Focus and Fusion Coupling
 
假設腦中有一個Perception Plane
 
視網膜捕捉到的影像投射在 Perception Plane 上
 
自律神經 配合焦距之調整 自動轉動眼球使兩個影像重合在Perception Plane 上，獲得生理3D視覺
若因 Coupling異常，Fusion失敗，則兩個影像無法重合，則看到重影
Fri Sep 9 21:34:06 CST 2016 Untitled Document
欺騙大腦的3D視覺
3D Photography 須欺騙大腦的生理3D視覺
 
大腦視覺根據眼睛所捕捉的影像產生視覺 若兩個影像在視網膜中無差異，便認為相同
 
3D Photography 利用此特性欺騙大腦
Fri Sep 9 21:34:06 CST 2016 Untitled Document
觀賞3D照片之方式
Overlay Layout (左右畫面重疊)
Side-By-Side Layout (左右畫面分列)
   
在Perception Plane 上，左右兩視圖自然重合，不須 對抗即可做好Fusion。
   
在Perception Plane 上，左右兩視圖相差很遠
 
必要條件:左右分離 (讓左眼看左圖，右眼看右圖)
 
必須對抗自律神經讓兩眼所觀得影像在腦中正確 Fusion
Color Filter (單色)
被動偏光鏡式
主動快門式

光柵裸視3D (螢幕或明信片)
裸眼
Stereoscope
 
除Color Filter 外，皆需特殊設備
 
除光柵裸視3D外，皆需配戴眼鏡
 
+ 不需特殊設備，非常方便
 
+ 可以大幅縮短拍攝及觀賞的週期
 
- 畫面寬度受限, 美感受損，Eye Stress
 
適合作為後製的 Previewer
Fri Sep 9 21:34:06 CST 2016 Untitled Document
左右分離 

左右分離的3D觀賞方式
Fri Sep 9 21:34:06 CST 2016 Untitled Document
Color Filter
原理
做法
 
1. 所有色彩可由紅綠藍三原色組成
2. 紅/綠/藍 濾色鏡僅能讓 紅/綠/藍的光通過
 
1. 將左右圖各以一個原色以重疊方式印出,左右眼鏡則裝上對應的濾色鏡
2. 如此,左眼只能看到左圖，右眼只能看到右圖

Slide Show Fri Sep 9 21:34:07 CST 2016 Untitled Document
光柵

Fri Sep 9 21:34:07 CST 2016 Untitled Document
Side-by-Side Layout 的 3D 觀賞方式 

Side-by-Side Layout 的 3D 觀賞方式
Fri Sep 9 21:34:07 CST 2016 Untitled Document
離焦融合 與 裸眼3D
 
裸眼觀賞3D照片需對抗自律神經強行 Decoupling focus and fusion 直到左右兩張照片在perception plane 上接近重疊， 此時自律神經被騙, 接手做 Fusion 產生 depth perception
 
離焦融合的最大寬度因人而異
 
Stereoscope 可彎曲影像傳到眼睛的路徑， 降低 離焦融合的寬度
Fri Sep 9 21:34:07 CST 2016 Untitled Document
Stereoscope
Fri Sep 9 21:34:07 CST 2016 Untitled Document
3D Book
Fri Sep 9 21:34:07 CST 2016 Untitled Document
DIY 3D Photography 

DIY 3D Photography
Fri Sep 9 21:34:07 CST 2016 Untitled Document
一條龍的工作流程
 
1. 以 單相機 或 DIY 3D 相機拍攝大量 3D 照片
 
2. 以適當軟體進行後製作及去蕪存菁
 
3. 以裸眼或 Previewer 檢視成果
 
4. Format Conversion
 
5. 將最後成果移至 3D Monitor/Tablet/3D手機
Previewer 攸關後製工作效率 !!
Fri Sep 9 21:34:07 CST 2016 Untitled Document
需求
1. 能搭配任何數位相機的3D雲台
3D快門線 (or Wireless)
同步 Zoom In/Out
Zoom In 時，左右必須保持對齊
Coupling of Zoom/Baseline/Viewing Angle
optional: 同時設定相機的各項參數(光圈、快門、ISO等)
2. 方便的後處理軟體 (互動式及批次方式)
將兩張照片左右上下對齊
為一批3D照片製作索引檔
將一批3D照片具有索引的3D網頁
依照第一張影像之尺寸剪裁第二張影像
依照給定的尺寸，剪裁一批影像
將一批照片從中切開成兩張或數張
將一批照片從中切開成兩張然後左右對調，再合成一張影像
將一批照片轉換成各種格式的3D影像
3. 能迅速方便的觀賞3D照片 -- 裸眼 or Previewer
Fri Sep 9 21:34:07 CST 2016 Untitled Document
醉眼式裸眼觀賞3D照片
 
百餘年前即已經發現裸視3D觀賞技巧
但非常難以傳授技巧
只有少數人可做到
醉眼式可提供協助
 
0. 將照片左右並排
 
1. 將眼睛焦點放在圖畫的後面， 讓水波清楚的成像在後面約5公分， 此時螢幕上的圖像在眼中會因失焦而分離成兩個影像， 就像酒醉時，將一個影像看成兩個影像。
 
2. 此時，所觀賞的物體在兩眼中呈現多重影像。
 
3. 設法微調兩眼焦距使得雙眼看成三張影像 此時中間兩張的影像重疊影像， 設法在腦中形成3D影像，
根據經驗，先看照片中的遠方物體，避免先看 近方物體，這樣會比較快進入狀況。

根據經驗，眼睛是可訓練的
Fri Sep 9 21:34:07 CST 2016 Untitled Document
練習

 

放鬆你的眼睛肌肉，設法進入醉眼狀態，
設法控制眼球肌肉讓左右兩個影像移向中間而 重疊，
使兩個0在中間重疊變成一個8。

 

Relax your eyes and get into drunk state first,
then manipulate your eyes to merge both left and right images
such that the two Zeros becomes an Eight in the middle.

 

 

 

 

 

Fri Sep 9 21:34:07 CST 2016 Untitled Document
Random Dot Stereogram

 

 

Fri Sep 9 21:34:08 CST 2016 Untitled Document
醫療上的應用

&npsb;

Fri Sep 9 21:34:08 CST 2016 Untitled Document
文化藝術品的數位典藏

Fri Sep 9 21:34:08 CST 2016 Untitled Document
精雕細琢與複雜結構的典藏品

Fri Sep 9 21:34:08 CST 2016 Untitled Document
運用特寫3D 表現

 

 

 

 

Fri Sep 9 21:34:08 CST 2016 Untitled Document
擴充博物館能量
博物館的限制
空間
經費
專業人力
不易收藏大型或特殊物品(例:聖物)
不易呈現生動的動物等
 
3D數位典藏有助於克服這些困難

 

 

 

 

 

Fri Sep 9 21:34:08 CST 2016 Untitled Document
Dynamic 3D
Fri Sep 9 21:34:08 CST 2016 Untitled Document
無解的生理問題
部分人觀賞3D電影時會有強烈生理反應
暈船/暈車 效應
 
快速的深度變換 大異於實際世界 (例如雲霄飛車)
 
身體無法配合眼球的運動
   
(身體應與眼球連動)
Fri Sep 9 21:34:08 CST 2016 Untitled Document
Summary 
 
Capture the Beauty of the World
Present to the People
Fri Sep 9 21:34:08 CST 2016 Untitled Document
飛機軍艦

 

 

 

 

 

 

 

 

 

Fri Sep 9 21:34:08 CST 2016 Untitled Document
中正紀念堂

 

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
台北麗正門

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
林家花園

 

 

 

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
古蹟

 

 

 

 

 

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
老街

 

 

 

 

 

 

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
老建築

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
廟宇 廟宇

 

 

 

 

 

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
恐龍

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
博物館

 

 

 

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
動物園

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Fri Sep 9 21:34:09 CST 2016 Untitled Document
仙人掌

 

 

 

Fri Sep 9 21:34:10 CST 2016 Untitled Document
其他

 

 

 

 

 

 

Fri Sep 9 21:34:10 CST 2016 Untitled Document
桃園

 

 

 

 

 

 

 

 

 

 

Fri Sep 9 21:34:10 CST 2016 Untitled Document
Research Topics
Converting 2D videos to 3D videos
Make 3D movies using temple activities, animal, etc.
Automatic Alignment of picture pairs
Automatic Pairing of two sets of pictures obtained by continuous shooting using camera pair
GUI 3D Editor
 
Overlay two pictures (drag and pull one onto the other)
 
Overlay two pictures (shift one onto the other)
 
Crop two pictures at the same time (overlay mode)
 
Crop one picture and crop the other with the same cropping frame (side-by-side mode)
Fri Sep 9 21:34:10 CST 2016