虛擬實境的主流趨勢

1.什麼是虛擬實境及現階段發展的現況

所謂的虛擬實境，我上次去美國有碰到一個中國人，我們談到說，蘇軾的廬山詩：橫看成嶺側成峰，遠近高低各不同，不識廬山真面目，只緣身在此山中。 裡面多少有講了一些虛擬實境，橫看成嶺側成峰，等於就是你可以虛擬世界裡任意改變你的viewpoint（視野）。 橫看，側看事實上整個表現是不同的；遠近高低各不同，實際上的話，講的是一個3D Graph的東西，一般學建築的都知道，透視法實際上是一個perspective，遠近高低實際上看起來是不同的；不識廬山真面目，只緣身在此山中，實際上講的是虛擬實境一個很重要的特質，就是要有emotion，就是說你可以完全沉浸在一個虛擬世界裡面，你在這個世界裡實際上是真的假的已經搞不清楚了，那當然這首詩裡面roughly有講到這個情境，但還是缺少很多東西，譬如說沒有聲音，沒有互動性，沒有一些所謂的realtime interaction，所以簡單講的話，虛擬世界實際上是一個互動的，有多樣感的，也有很多sensuous的information。
我們在很多的場合經常可以看到虛擬實境的東西，三四年前，台灣的場商對虛擬實境的期望也是非常高，但經過三四年後，很多廠商還是很失望，很多看到的東西都還只是實驗室的產品，真正商品化的例子可以說是非常少，實際上我想大家多多少少也都接觸過虛擬實境，有時候看電影的拍攝很神奇，但目前科技是不是可以做到那樣子，實際上還有很大的差距。今天我們就來談談目前還是有很多科技上的演進，本身的市場性也沒有這麼的大，但是大家還是都認為它是明日之星，所以很多國家都當成重點科技來發展。

虛擬實境的應用可以說是非常的多，我們看一些比較代表性的。其實目前最大的應用還是在entertainment，他們講從94到98有67%的market，全世界虛擬實境的市場都是在game，在entertainment時代有用到虛擬實境的科技是非常低檔的，所以這是第一類。那第二個應用我們是講Medical的東西，這是比較特殊；還有一些architecture work through，不管是成屋，預售屋可以用這種方式把它表現出來；比較有名的像日本，日本松下實際上它們用虛擬實境的科技來做一些market的事情，他們做了一個廚房模擬的系統，VIVA，大家知道在日本空間非常狹小，有時候你買了大的廚具，實際上回去不像台灣房子都蠻大的，隨便買一擺就擺下去了，日本就有時候你大的廚具買回去，廚房空間擺不下，所以松下就用虛擬實境的技術做廚妨模擬系統。

未來的趨勢將會是PC，以往都是用workstation，不管是HP或SGI ，那主要是因為PC的計算能力，還有構圖能力的提升，還有像Internet，像USP1394高速傳輸技能，那大概到2001年，有一半的系統大概都是PC的東西，那高檔的東西實際上是很少的，那目前的情況，系統的規定，中檔的東西像HP大概都要3、4百塊，那高檔的東西像SGI大概要800塊，那這還是一大筆錢，所以未來PC應該是主流。那第二個主流是Internet，Intetnet的主要user大概7、8千萬，蓬勃發展，另外標準出來了，那VRMM97已經跟ISO被認為是公認的標準，以目前來講它有頻寬的問題，還有自動器有限，譬如妳只是改變 viewpoint，或者像是我們做的互動，就有很多的問題，其實Netscape view和Navigator都有做出來，那要真正的互動還要能參與還需要一段時間。最大的問題是資料image檔太大，像VR 3D graphics的檔太大，雖然經過壓縮但還是很大，所以未來來講我們可能做壓縮技術，image compression，第二個做straining，image straining，這是未來的方向。

成品展示
˙南園
˙神遊故宮

        大家早，很高興到政大來演講，大家都知道，政大也有資訊科學系，最近好像又要成立資訊科學所，所以我想這個是很令人高興的事。 虛擬實境應該是很輕鬆的話題，所以我們今天的演講，技術的部份大概不會很深入，可能就是讓大家瞭解一下說VR目前的情況跟未來的趨勢會是怎樣。

        我們在很多的場合經常可以看到虛擬實境的東西，三四年前，台灣的場商對虛擬實境的期望也是非常高，但經過三四年後，很多廠商還是很失望，很多看到的東西都還只是實驗室的產品，真正商品化的例子可以說是非常少，當然叫虛擬實境的東西也是非常多的，看是怎麼樣來想，像電影也是拍了很多在講虛擬實境的，但那只是拍攝的手法，譬如說像割草機人（lown ullman）就是用虛擬實境來做education，把一個幾乎白癡的人，可以把他訓練成天才，最後成電腦裡面跑出一個cyberman來，等於是電腦空間的人跑到real word來，拍攝的手法就是利用虛擬實境。另外像桃色機密，情節好像是男主腳Mike Douglous，在real word經過雷射光掃瞄，電腦經過掃瞄到的資料來重建原來的景象，而且他甚至可以戴上數據手套跟虛擬世界的一些物件來產生互動，當他在虛擬世界遇到一些問題時，還可以呼叫一個他的agent，實際上就是intelligent agent，他會出來幫你解決問題，其實整部片子就是電影拍攝的虛擬情節，基本上我們想說要用之前的超級電腦要拍到這樣的情況其實非常困難，要做的話應該是用V8把人的頭的pictures拍下來，再經由一些影像處理的軟體把它強化，浸視，身體部份再利用3D的工具將它建構起圖形貼在上面，作到更為逼真。 所以說實際上我想大家多多少少也都接觸過虛擬實境，有時候看電影的拍攝很神奇，但目前科技是不是可以做到那樣子，實際上還有很大的差距。 今天我們就來談談目前還是有很多科技上的演進，本身的市場性也沒有這麼的大，但是大家還是都認為它是明日之星，所以很多國家都當成重點科技來發展，那我希望今天來談的就是有一些main stream的東西，尤其由台灣來看的話，今天有很多的趨勢，假如說學術界，研發單位投入的話，我們相信在未來會有很大的轉機。今天我想講的部份大概是一個半鐘頭，留二十分鐘將電通所過去二三年作的一些像虛擬實境的contents讓大家看一下，讓大家能更了解什麼是虛擬實境。

        所謂的虛擬實境，我上次去美國有碰到一個中國人，我們談到說，蘇軾的廬山詩：橫看成嶺側成峰，遠近高低各不同，不識廬山真面目，只緣身在此山中。 裡面多少有講了一些虛擬實境，橫看成嶺側成峰，等於就是你可以虛擬世界裡任意改變你的viewpoint（視野）。 橫看，側看事實上整個表現是不同的；遠近高低各不同，實際上的話，講的是一個3D Graph的東西，一般學建築的都知道，透視法實際上是一個perspective，遠近高低實際上看起來是不同的；不識廬山真面目，只緣身在此山中，實際上講的是虛擬實境一個很重要的特質，就是要有emotion，就是說你可以完全沉浸在一個虛擬世界裡面，你在這個世界裡實際上是真的假的已經搞不清楚了，那當然這首詩裡面roughly有講到這個情境，但還是缺少很多東西，譬如說沒有聲音，沒有互動性，沒有一些所謂的realtime interaction，所以簡單講的話，虛擬世界實際上是一個互動的，有多樣感的，也有很多sensuous的information，那一般我們最常看到的是視覺，聽覺，觸覺和敏銳度；我想在前一陣子，大家花非常多的工夫在做視覺和聽覺，那因為computing的power是有限的，目前他們開始在做觸覺和力回饋，就是touch跟force feedback部份，那實際上這裡面都有很多的瓶頸，那待會我們會roughly講一下，電腦要模擬產生這些多樣的信號，然後人可以透過sensor（感知器）跟虛擬世界裡面的物件產生互動，經過這樣一個實際的過程，才會發現好像在一個real world裡面，一般我們講的這種身歷其境的感覺，就把他叫作虛擬實境，所以有時候講虛擬實境就有點像形容詞，有點像以前的"多媒體"，就是一個身歷其境的感覺，sense of presence。但是要創造這種感覺，對電腦來講是非常困難的，光作一個視覺的效果要做到很逼真，3D Graph做到今天，其實還有很多的問題存在，我們後面會講一下；所以說實際上，虛擬實境的兩個要素，一個就是emotion，怎麼樣讓人在虛擬世界裡面完全沉浸在裡頭，感覺到好像在一個real world裡面，所以說前面廬山詩裡面也有講到，這個不識廬山真面目，只緣身在此山中，基本上就是講這個事情。那另外一個很重要的就是互動性，而且是一個即時的互動性，今天假如大家看錄影帶，或是看電影，它完全是passive，完全是被動，它的整個劇情實際上都已經被導演給定型，整個腳本都固定的，所有演員的演出都是固定的，但是對於虛擬實境來講的話，他所有的情節的表現是即時的互動性，realtime interaction，你不知道將發生什麼事，所以說你無法事先把它record下來，把它播放出來。

        那我們看看，目前來講虛擬實境商品化最成功的部份是在game，就是虛擬實境遊戲機，我想這是目前商品化做的最好的，所以我們來看看用game來分類，看一般虛擬實境是分成哪幾個。

       第一個的話，就是傳統比較traditional的虛擬實境都是講這一類，就是戴頭盔，一般國內大家都知道，好像國內也有很多地方在做，像中科院，中研院光電所，都有作Halt Mounted Display，就是戴在頭上，可以把人的視覺跟聽覺，和real world完全隔離，可以達到完全沉浸在虛擬實境裡面，那這個是一家英國公司Retuality做的game，它其實看到的東西完全是電腦產生的，戴上這個頭盔之後，你可以跟real world完全隔絕，玩這個game有時後還蠻危險的，在real world發生什麼事都不知道。不過我想這是比較狹義的解釋； 前面我們有講到，虛擬實境是要達到身臨其境的效果，所以基本上還有其它幾類，像這一類就是一個座艙啦，這裡面就是在一個駕駛式的模型中，利用投影在大的螢幕或Monitor上的虛擬世界，所以說這是一個非常大的screen，基本上是用3D Graph把它做出來，所以它整個視覺的效果可以非常地好，非常逼真，然後再配合一些實際的控制或者說是油壓裝置，像這個實際上是一個飛機的座艙，本身的話上下左右都可以翻轉，可能有人玩過，那在這個飛機的座艙裡面，可以模擬飛機的一些motion，裡頭一些險象的部份實際上是用3D Graphics投影在screen和monitor上，這樣的情況看起來也是讓人好像置身在真實的駕駛艙裡面，在操控飛機或者是汽車，像這樣子只要能夠達到身歷其境的效果，也都可以叫作虛擬實境的東西。像前一陣子在辦國際研討會，樓下那個微X軟體也在做announcement，就是國內在做motion的game，基本上都是屬於這一類。那還有一類是比較像多媒體的東西，我們把它叫作projection base，實際上它是用所謂的vision camera，在左邊這個圖裡實際上有兩個vision camera，利用vision camera，把人的影像，假如說這個人在這邊，他應該是在打籃球，一般這個東西也叫做blue technology，大家看後面都是藍色，經過vision camera把它影像vision capture之後，到電腦裡面可以利用所謂的color key把它的形像抓出來，因為它後面是blue，所以說人的部份可以capture下來，其它的部份像籃球場，球這部份，都是電腦產生的虛擬的物件，再把人的影像和電腦產生的物件合成之後再用後投影把它投射出來，這樣子也可以做一些虛擬實境，達到一些身歷其境的效果。所以這裡面是在投籃，那這個東西好像是在打曲棍球，這個好像在玩排球啦，肯定是沒有這一隻嘛對不對，那這個曲棍球基本上首門員就是玩的人啦，這東西不用戴上任何的head- mounted display，所以它沒有束縛，不像第一類的head-mounted display based的要戴頭盔，還有一些cable，基本上束縛非常大；那這要怎麼玩呢？實際上是要看這個螢幕啦，一般我們也是習慣這種作法，大家可以想像，早上起來大家在刷牙洗臉的時候，也是看著鏡子在做事情，或者說你晚上在作夢的時後，也是以第三者在看你自己，就是說實際上你看著這個螢幕打籃球，實際上人也是習慣的，它作的效果也是非常好；像這一類的話，本身是比較像多媒體的東西，所以說也比較便宜。

        那虛擬實境的應用可以說是非常的多，我們看一些比較代表性的。其實目前最大的應用還是在entertainment，他們講從94到98有67%的market，全世界虛擬實境的市場都是在game，在entertainment時代有用到虛擬實境的科技是非常低檔的，所以這是第一類。 這個有點像剛才我們在講的head mounted display base一樣，這是英國的一家公司retuality做的VR的遊戲機，基本上的話，這個是站式，前面是坐式，大家看一下哦，頭上戴這樣一個東西，好像小朋友戴的，它第一代的產品這個head mounted display是2•9公斤，第二代是比較輕啦，好像是零點多，手上拿的是像3D mouse，還有很多線，它的主機在底下，這個東西實際上也是賣得全世界大概800套，一套都是大概3，5萬美金，這種game實際上有非常多不同種類啦；不知道大家有沒有看過這個東西，像這個game就有點像在一個太空站，像一個棋盤一樣，兩個人就可以對打，人就在裡面走來走去，拿槍的時候再打對方，因為這是real time interaction，人走在什麼地方，這兩個人就靠自己的功力，你看到對方的時候。就可以拿你的槍把對方打掉，對方是3D Graphic做的，一打掉就碎掉，空中還有很多會飛的恐龍叫翼龍，你只要被打掉的話就把你抓起來摔到地下去，就有這個效果，實際上那個emotion的效果還不錯，但就是說整個3D Graphic的場景看起來還是非常地粗糙，任做起來都是有稜有角的，用多邊形做出來的，但還蠻好玩的，大家可以試試看，這個英國很多啦，好像機場就有，這一類很多啦。這是美國一家公司Virtual World Entertainment，VWE這個打開來你就可以進去了，基本上是有點像是人在機器人裡面，所以說這每一個都可以說是機器人，人到裡面去就可以組成團隊大家對打，裡頭內部看到就有點像是這樣子，有一個非常大25吋的螢幕，可以display虛擬世界中其它的機器人在什麼地方，還有小的螢幕可以顯示一些像雷達的裝置，或是display一些像是損傷的情況，甚至有一些麥克風，可以跟他的團隊作一些策略性的動作，這個game實際上是在1990年在Chicago成立第一個Battle Game Center（？？），非常成功，兩年就賣了大概35萬張票，後來在日本，歐洲，美國就開始build up這個東西，今天我分析玩這種game的人年齡層概是18歲到35歲，平均大概23歲，所以說年紀大的大概也不會去玩，那這東西種類大概有幾佰種啦，不會說像去電動玩具店去玩了就不會去玩了，它這個game每次要達成的mission都會變化的，所以它分析一般人大概都會玩23次，有的經常玩的聽說玩了228次，也還不錯，不過台灣好像沒有這個東西。

        那第二個應用我們是講Medical的東西，這是比較特殊，大家知道像超音波掃瞄可以幫助醫生檢查一些有問題的情況，像可以檢查懷胎的婦女，傳統的作法是用超音波掃瞄，出來的話實際上是2D的影像，那現在這個東京呢，他可以戴上所謂的head mounted display，這個跟前面講的不同，這是一個see through的head mounted display，可以看穿啦，可以看到real world的東西，另外電腦產生的virtual world也display在上面，所以兩個可以合在一起，這有一個名稱叫作argumentary reality（？？），這也是很大的一支，用這種方式，把realtime的超音波產生的image跟電腦產生的image可以把它們合在一起，變成實際上它這個胎兒就整個可以看得到，因為他可以see through，用這種方式也可以診斷胎死腹中的性別，或者有沒有一些不正常的事情，基本上這也是很大的應用。像玻音公司也用這種方式在作maintainment的事情；大家知道飛機如果出現問題的話，要去維修是很困難的事情，它的維修手冊可能就非常地重，你要去找到哪一個page，要去修理某一個損壞的component，是非常困難的事情，所以它也是用所謂的see through的head mounted display變成說飛機的部份是實體，飛機是一個physical的東西在那個地方，你只要改變你head mounted display的位置的時候，他的某一個零件，可以說用電腦把它產生來說明這個零件是什麼用處，它有一個像menu的東西，懸在影片上面，就是說你在看飛機實體的時候，看飛機這一部份的零件，它的說明實際上是電腦產生出來的，兩個合在一起，那這樣做維護的話，實際上是非常好的事情，所以說他們用這種技術在做一些maintainment的東西。 那這一類的話呢，像有一些architecture work through，不管是成屋，預售屋可以用這種方式把它表現出來；那比較有名的我想像日本，日本松下實際上它們用虛擬實境的科技來做一些market的事情，他們做了一個廚房模擬的系統，VIVA，大家知道在日本空間非常狹小，有時候你買了大的廚具，實際上回去不像台灣房子都蠻大的，隨便買一擺就擺下去了，日本就有時候你大的廚具買回去，廚房空間擺不下，所以松下就用虛擬實境的技術做廚妨模擬系統，變成你的客戶可以到他的sholon去，戴上它的頭盔，事先它的廚房就是電腦把它弄出來了，只要尺寸知道就可以了，戴上頭盔之後，所有的廚具都是電腦的東西，都是假的，都是computer scensary，裡面提供三萬多種各式各樣的廚具，讓它的客戶去選擇，那在課戶的廚房空間裡面，他可以開使擺設，擺到滿意的程度時，他可以就簽合約下order，那因為它這個廚房模擬系統跟CIM整合在一起，就是電腦整合製造，只要下order之後它五天就做出來了，五天交貨，誤差的話是小在1minimeter，所以說是非常精準，可以把虛擬實境的技術拿來做market的事情，不管是做成屋的交售啦，廚具這些都可以，這也是很大的一個應用，講的是Marketing，或者是Manufacture。那另外就是像科學上，也就是scientific realization，就是把虛擬實境當成一個visualization的技術，當成user interface的技術，譬如說颱風，大家也沒看過颱風長得什麼樣子，或者像地震，雖然說電腦可以計算出大量的資料，但是從來，你也看不到嘛，那可以用虛擬實境的技術來作一個display，譬如左邊，左邊實際上是NASA的ENS Research Center的實驗，它有全世界最大的實驗室，它可以擺下一整臺的噴射機，它是用虛擬實境的技術來做visualization和user interface，那像communication fluid，就是流體動態這些資料，它已經算好了，它只是用VR的技術把它display出來，所以可以看到飛機它整個流體的表面是怎麼樣都可以看的到，可以vitualiaze到，另外它可以用虛擬實境的user interface做成一個BOOM，這是另外一種的head mounted display，戴在頭上的head mounted display實際上你會有很多的限制，像不能太震動，會影響它的解析度，但這種東西有點像牙科醫生在看診的時後，你要看的時候把它拉過來看，所以可以解析度非常高，而且重量不會像戴在頭上的有這麼多限制，基本上功能就像一般的head mounted display一樣，另外手上有所謂的3D mouse，也戴了所謂的數據手套，可以靠數據手套操控做一些動作，譬如說翻轉，分析某一個動作等。這是北卡羅那大學做的叫作xxxxx，有點像製藥，譬如說蛋白質，把它display出來，那這個機器手臂非常大，是一個所謂的力回饋force feedback的東西，因為就分析分子要做藥的話，在計算上實際上是非常困難的，那他們怎麼做呢？它可以把整個分子用3D把它display出來，另外它可以利用這個東西，機器手臂，叫作ARM，它可以移動這裡面分子，找到排斥力量最小的地方，這就是一個optimun的position，所以說這個force feedback device可以在分子模型裡面移動，找到一個位置，在這個所謂的monaturou docting(？？)方面可以用上去，聽他們講早期在作這個ARM的時候，因為是force feedback device，前面沒弄好，把整個手臂都折掉了，這個力量非常強大，其實這個force feedback device要做得非常精細，後面我們也會講像touch device，甚至可以模擬到像抓樂高，你手臂抓起來，可以感覺到是抓到了，可以感覺到抓到什麼地方去，你表面的這個紋路啊，其實都可以感覺到，這個就有點像觸覺跟力回饋的方式。

        這個 VR視覺的效果，其實3D graphics在VR上非常的重要，3D grahpics在工作站非常貴，可能在2000美金，但PC可能在1000美金以下，甚至幾百塊，很便宜的，PC graphics 400 塊出來了，mmx的晶片，另外在Internet上面，在網際網路，現在大概有7、8千萬人在上面，但是網際網路在以前來講還沒有smart language ，大家各自發展，但是到了1996年8月時一個傢伙出來了，叫Virtual Reality，有一個標準出來，這個實際上在網際網路上面虛擬實境的一個標準，現在叫VRMM97，也就是說妳用這裡面描述的檔案下傳大家都可以看的到，妳用browser、IE都可以 ， 這個標準大家都可以接受，另外持續還有3.0、4.0繼續在做，這個實際上2.0是個single user，但對multiuser這個需要4.0，在Internet有時候聊天妳用 VR來做的話妳叫3D chat ，目前在Internet上這種VR的3D chat東西，大概要20萬元，主要是標準比較重要，但Internet上主要是頻寬的問題，這裡面有很多需要壓縮的技術，像image compression，或mpeg的東西。

        再下來是比較艱深的了，那我們看一下VR要模擬聲音 、視覺的東西，那3D graphics非常重要，那Hinet就是聲音要做的非常的high，還有3D graphics要做得非常快，這是一個趨勢。那大家都知道，3Dgraphics主要是做模擬，模擬在以前做得很粗糙，但現在有3D graphics 可以做的很精細。3D graphics有一個非常有名的叫tea pot，tea pot做起來就要幾十萬個polygons，另外還有不同的shading，要怎麼樣上色，每一個都有不一樣的顏色，有constant shading，有polygon shading，還有茶壺反光的顏色，對電腦來講非常的困難，那我們看看他的困難在那邊，那我們現在其實1秒可以畫幾million polygon，所以1秒鐘可以畫一百萬個多邊形，那我們看波音747他的模擬，他的飛機模型的database需要50億到70億的多邊形，那現在的科技要做那就差太多了，在未來這highperform還可以繼續做。另外要做逼真，要做的像，還有很多技術要做。

        現在傳統的作法就是一顆球，待會會看到，那這一顆球是多邊形做的，那多邊形有限，所以做出來有菱有腳，傳統的3D graphics就是把每個frame handling完，一個pixel一個pixel，那到了下一個多邊形再做一次，又做一次，那大家想一想，一顆球在動，妳其實不需要分解到每個polygon，妳可以利用前一個image， 其實是用影像處理來取代傳統的graphic，一個integer的處理呢大概是language的10到20倍，像pentium 133 ，1秒鐘30個畫面，那這非常慢，如果可以用前面的畫面來產生後面的畫面。

        那接下來是比較有趣的，如果妳有左邊這畫面，還有右邊這畫面，那可不可以產生中間這畫面，妳從這個和這個妳 select 它來產生這個，那這各式所謂的image based language，那這有很多在研究的，基本上觀念就是影像處理來取代graphics。

        那我們看看聲音，我們知道立體聲，現在有所謂的surround sound所謂的環場音效，那環場音效基本上有兩個喇吧，人在這邊，實際上只是把音場擴張，讓聽到聲音好像在270度範圍，妳只要眼睛必起來聽，妳不知道喇吧在哪裡，那3D sound妳必須知道音原在哪裡有所謂的position，一架飛機從後方飛到前方，那電腦必須能做到。

        那我們看看系統的東西，那未來的趨勢是PC，以往都是用workstation，不管是HP或SGI ，那未來的主要趨勢是，那主要是因為PC的計算能力，還有構圖能力的提升，還有像Internet，像USP1394高速傳輸技能，那大概到2001年，有一半的系統大概都是PC的東西，那高檔的東西實際上是很少的，那目前的情況，系統的規定，中檔的東西像HP大概都要3、4百塊，那高檔的東西像SGI大概要800塊，那這還是一大筆錢，所以未來PC應該是主流。

        那第二個主流是Internet，Intetnet的主要user大概7、8千萬，蓬勃發展，另外標準出來了，那VRMM97已經跟ISO被認為是公認的標準，以目前來講它有頻寬的問題，還有自動器有限，譬如妳只是改變 viewpoint，或者像是我們做的互動，就有很多的問題，其實Netscape view和Navigator都有做出來，那要真正的互動還要能參與那還早啦。

        那我們這邊有個圖形，那這是VR 做的，以VR2.0我們電通所做的一個browser，那compatibility大概80幾 % ，那相當不錯， 這是Internet的一個chess，所有的模型，shading，全部都是VR做的，還有imation像這顆球會動，總和來講這是VR2.0的一個標準瀏覽器，整個來講妳在Internet上可以下3D的chess， 那這就是前面講的VR 的東西在網際網路上，我們另外一個作法把image加上去，那我們早期作的楊一風美術館，他本身是sculpture database大師，那我們要做虛擬實境的技術，把楊一風美術管重建， 基本上項環場影像360的image，在這360度環場影像妳可以任意遊玩，妳要上樓梯都可以，另外一個特色是3D影像物件，像這東西實際上user都看的到，等一下我們看神遊故宮都看的到，像翠玉白菜，那基本上這都是pictures，不是graphics，但也可做到同樣的效果，而且非常逼真。那我們也做所謂的虛擬商場，vritual mole，這百貨公司在網際網路上開，這東西實際上都是用電腦合成，這也告訴我們實際上電腦並不是解決所有問題，最大的問題是資料image檔太大，像VR 3D graphics的檔太大，雖然經過壓縮但還是很大，所以未來來講我們可能做壓縮技術，image compression，第二個做straining，image straining，這是未來的方向。

        那我們看一些成果，這是image compression，這張圖片在1/480時已經出來了，他不必全部下載，1/120已經看的到，那programming是想一面傳輸一面下載，這叫漸進傳輸，這是未來的科技，怎麼樣不用壓縮，(....空白.....）前面講過paint on display，解析度不夠，解析度非常低，亮度非常窄，非常重，非常貴，而且有礙健康，解析度大概都在240*240或320*240，差 VGA一個order，另外視角30度， 人的視覺一般要80度，而且這很貴，那我們希望做到解析度640*480，視角80到100度，非常輕巧，價格便宜。華盛頓大學做出一種以雷射成像的東西成在視網膜上，把人當電視，前一陣子已經做到5色，主要是以紅色，這是paint on display。

        其他我們看talking手套，像這個有很多sensor，他可以detect妳手指的彎曲度，他有很多光線經過光纖，這是一個史丹佛大學的一個老師，他兩歲時喪失聽力，當然也不會講話，那他戴上這個手套，這手套有手語的 database，經過AI，可以把他的意思經過他胸前的一個speaker發聲出來，靈巧化，這是很好的東西，另外是觸覺的東西，有一家做觸覺的公司，妳接觸到外科手術，他們希望動手術時，皮膚的touch，這個phase感覺的到皮膚的柔軟度，感覺的到表面。

        那tricker，tricker就是說實際上工作範圍還是很有限譬如6到10，一般都是靠電磁波，超音波之類，工作有限，另外未來我們希望是無線，wireless，那這也是個問題。

        那我們看低檔，現在電通所在做這個，這個其實對user來講有礙健康，這個帶頭盔超過一個鐘頭，會有很多問題，有人帶很久，要拿下來喝可樂，結果倒到鼻子上去了，那這東西以目前的作法就是會有礙健康，像sony做consumer hand on display，妳超過半個鐘頭他會自動switch off，這變成日常生活每人使用很難達成。

        目前比較沒有問題的是這個東西，這是別人做的，這是一個房間3m＊3m＊3m，很高很大，一次大概7、8人可以進去，這個牆壁三邊還有地板都是非常大的螢幕，每一台的screen目前都是靠工作站來做的，像SGI，把3D graphics而且立體的東西打在上面，打在三面牆壁還有地板，那7、8個人在裡面，他是看到imertiaon，妳看到的假如是深海，深海有魚在妳四周游來游去。

       人的話，甚至都可以帶tracker(追蹤器)，所以人的走動都會被偵測出來。可以在虛擬世界裡，可以得知虛擬世界與真實世界的互動關係。但這還有相當的問題存在，因為這樣子的一台機器，造價非常的昂貴，造價大約在四、五千萬台幣左右。所以全世界上這種製作VR的機器，正在蓋或是已經蓋好的大約只有32座而已，台灣還沒有。美國大概已經有32座了，高速電腦中心買了一個。他們買了一個像這樣的台子，他這個台子你去看他，他會有3D的影像會浮現出來。一般的外型，都像這個手術台，因為其造價稍微便宜，而且並沒有座的很好。電通所大概花了25萬美金，蓋了這樣一座。但是我們蓋的在技術上完全不同，因為我們是用PC來作的，而不適用工作站來作的。像SGA工作站，一台要15萬。而且一次需要四五台，所以平均成本來說，用功作戰成本實在事態昂貴了，前面我們說過，PC是未來的趨勢，所以我們用PC來maintain。這些對PC來說，是屬於一些3D Graphic的東西，所以我們把這樣的技術稱為image-based的虛擬技術。所以我們現在都在做一些kernel的東西。我們現在正在做高雄海洋博物館籌備處，預備公元2000元年開館。我們想做一個身海的魚類，因為身海的魚類要繁殖存活非常的困難。而且那溫度跟壓力要控制的相當精確才行。例如：腔棘魚這種深海魚類，全世界的海洋博物館要將這中稀有的深海魚類存活下來，是相當少的。所以我們正在跟高雄的海羊館接洽，要做一個虛擬的深海虛擬實境，這些東西我們全部都用image來作，利用一些picture來製作，經過graphic的處理，來達到一個虛擬的深海水族區，而且做出來的很逼真，而且利用這些技術，PC就能夠推的動它。但是目前還是都用3D graphic來作，因為基本上那條魚要動。

　   實際上，Virtual-relaty 好好應用的話，有非常好的發展空間。但是如果沒好好運用的話，就好像割草機一樣，有力有弊，壞的甚至會影響到全世界。之前我們有提到一些未來發展的動向，我們希望能盡量著著這個方向來作，盡量去做好的一面。未來發展的方向，PC based的VR system，internet based的VR，及image-based 的VR system。整著VR　system的發展要健全，可能要到2002年才行。我們認為他會對國內的軟體造成相當大的幫助。所以現在都應用在軟體發展產業，如3D VR電玩產業，internet產業，或是國內的軟體產業有相當正向的幫助。但是對於硬體的部分，問題還有很多，所以發展上還沒有這麼快。

　    接下來我們看一下電通所所做的一些實驗，南園，一個度假中心，位於新普鎮。個人好像是不能去的，團體好像要申請才可以，那是中國時報的一個休閒度假中心。但是目前來說，南園這個漂亮的休閒度假中心，現在已經漸漸的惡化掉了，因為前幾次的颱風來，所帶來的影響。已經有很多地方已經地層下陷了，雖然政府每年花了幾千萬在做維護搶修，但還是阻止不了他的惡化。如果可以利用電腦的技術來加以重建，這是一個滿不錯的idea。你們看到的homepage實際上的視覺效果是非常的豐富，基本上你們看到的都是image-based的影像處理結果。所以你們看起來跟傳統的homepage有很大的差別。在這中中你們有看到一些環場影像，這些環長影像可以360度的來旋轉，我們有算過，要達到360度的環場影像，只要用petium133就可以達到每秒鐘三十多個畫面，一般我們在對外做demo時都是帶petium 75。而且華滑鼠可以控制某衣物件，來做360度的旋轉，基本上這是real time的，假如釋放錄影帶的，那就沒什麼稀奇的。而且你不能去操控他，不能有interaction。所以虛擬實境需要的是invertion，逼真，所以我們要實景拍攝，看起來材逼真。第二個，就是要有interaction 所以我們可以用滑鼠，來去加以控制，真正達到real time 的interaction。你們現在看的點其實是一個360度的環場影像點，一個影像點，我們要讓畫面看起來真實流暢，每一個環場影像點，我們都大概必須去拍個18張照片左右，然後把他接起來，這裡面經過的科技，有所謂的，image routing, derouting。這些環場影像點，你們可以上下左右，甚至去做360度的觀賞都可以。我們是以一個一個的環場醒像點來做移動，所以我們是有限制的來做interaction。這整個影片大概有六七十個環場影像點供人們去參考。而且這些六七十個點，攝影師去拍大概只要1天的時間就可以完成了。所以你們在看這些環場影像的時候，會覺得前面的很亮，後面的很暗，那是因為攝影師由天亮拍到天黑的結果。環場影像中的某些物品，如花瓶，還可以去做360度的旋轉，而這些只要為著邊邊去照幾張picture就可以製成。當然這之中還需要一些科技，如壓縮啦，才能製成這個3D object。跟多媒體的結合，我們先看跟3D graphic的結合，畫面中有一顆球在跳動，那顆球是利用3D graphic做成的，還結合聲音。仔細看這顆球，他其實是有稜有角的，比較粗糙。他的這些陰影，其實都是3D的程式在做計算的，他計算時將光源當成是在上面，所以並不是太陽的位置就在上面。所以背景的部分是一個環場影像，而前景的部分則是一個3D graphic，我們則將他們結合在一起。所以其實我們是結合了3D graphic並且有聲音，光源及陰影的一些設計。物體接近的時候，聲源變大聲，跑遠了便變成小聲。將電腦做成的桌子，碗及筷子，擺在環場影像中，這也是3D graphic與環場影像的一種結合。那這種技巧可以利用在，如成屋銷售，假如我們這個是空屋，我們就可以利用電腦來做很多的裝飾品來擺設，沒有所謂擺不擺的下的問題。這些都是3D graphic 跟VR的一種整合。畫面上你們所見到的這位導遊小姐正在做簡介，但是實際上他不是站在那裡的，他是經過影像跟VR的結合，讓人以為他是站在那裡跟我們做簡介的。還有一架多媒體的電視機，經過我們手動控制，他就會開始撥放，關掉他就停止撥放，這也是多媒體與VR結合的一項技巧。

　     神遊故宮，故宮基本上有很多典藏的一些精品，如翠玉白菜，清明上河圖等等。基本上我們也是在故宮裡面做實景的拍攝，來加以做成這個環場影像。像是翠玉白菜，這是3D image的部分，我們可以click去加以放大來觀看，甚至可以用滑鼠來翻轉看看。所以變成說，在一個虛擬的博物館你來看這些東西，跟一般真正實物的博物館來做比較，虛擬的博物館不用怕去弄壞，甚至還可以拿起來加以旋轉，在真正的世界理事不可能去做這種事情的。而且他的解析度實際上可以弄得很高，而且上下左右可以來翻轉。再舉一個例子，像是肉形石也是利用同樣的技巧方法來達到跟我們的interaction，讓畫面更生動，更真實。還有清明上河圖，這其實是還有音效的。清明上河圖其實是一幅很長的圖畫，所以縮也可以用環場影像來看他。再來是中國旗袍，因為頻寬的限制，所以做的小小的。基本上他是一個立體的3D image。整個來講，image-based 的影像處理，跟傳統的graphic技術比，他有很多好處，第一個就是說，他適用實景拍攝，並不是用3D graphic的多媒體來建構模型，所以說他非常逼真。第二個就是說，建構時間很短，像南園六七十個點，一天就可以拍攝完成。大家知道現在建構3D模型是非常花時間，而且相當貴的。外面廣告的動畫，1秒中需要兩萬塊錢，那另外來講的話，傳統的VR　graphic based需要硬體的支援，比如說你需要3D加速卡。所以就算用PC來做也要有一百萬以上的配備來做，但是影像處理之前有說過，petium 133就能跑到1秒鐘33個畫面。變成就是說它比較有實驗性，能夠普及。像現在個人要買電腦，基本配備都已經petium 233以上的電腦了。速度非常的快。

　    現在的網路購物，像是在美國已經是很普遍了。台灣的話實際上整個環境面，還沒有ready。包括有沒有認證中心，沒有認證中心，其實網路上的商家，他本身的這個可信度是非常有問題的，像之前有一個case，一個學生開了一家網路訂購電腦的，可是卻送來一個烏龍茶，但是這些東西我們沒辦法去connect，所以才會有這樣子的事情發生。所以台灣環境並沒有成熟。但是網路購物已經是一個很大的business。那我們是利用影像的虛擬實境，在internet上建構一個電子的商場，我們可以透過網路進入虛擬的商場裡。這些基本上都是實物，而不是多邊形。在這裡面有很多的專櫃，讓我們去遊走。慢慢的電子錢包，或是一些shopping card都會被設計出來，而且我們還可以連結到一些商家系統，看看他們有哪些商品要出售，我們甚至還可以用語音辨識，因為有些阿公，阿媽的不會敲key board，所以我們可能需要一些語音辨識系統。直接用說的，比如說一個電冰箱，直接經過語音辨識，再去search電冰箱的database。甚至是我們可以做到休閒區，我們可以在休閒區跟人家下chess等等的休閒益智遊戲。所以將這些商場搬移到網路上，可以實際的去造成一個地球村，因為網路是沒有國界之分的。我們可以將購物，娛樂及休閒都建構在網路上，並且在網路上整合。這實際上是一個非常大的商機，我們估計2002年，分散式的虛擬環境在未來是一個非常大的商機。

　Quest：從拍攝的過程到成品，自動化的部分有多少？或是人工技術的部分是多少？

　Anser：實際上看需要的性質，我們有跟傑何建設合作，他們實際上有這個轉盤，加上數位照相機，再攜帶筆記情電腦到現場拍攝，我們只需要按一個鈕，在短短的十分鐘之內，我們就可以拍完了，而且在一兩天之內要上網，所以筆記型電腦可以利用簡單的GUI將環場影像拍攝完成，剪接及處理，接著存成所謂的IBR檔，讓我們的broswer就可以去讀取了。所以像是簡單的房屋仲介業，三房兩廳只要幾個點就好了。所以只需要幾十分鐘就分拍完了。而且我們在當場看不好的話，我們可以當場重拍，只需要一天兩天就可以結束掉了。一般的話是看他的規模的大小，所以整個就拍攝來講，是佔了比較大的時間。我們需要攝影師去現場實際的去拍。看我們要做到多複雜。所以實際上我們是在講VR但其實是在講互動式多媒體。兩個重點，一個是要真實，一個要互動性，就好像我們在做多媒體一樣，他是一個互動性的。而且其實自動化都已經做好了，只需要按幾個鈕就行了。

	電腦繪圖技術
	虛擬實境的應用與市場發展概況
	混合式虛擬實境 / Hybrid VR
	幾何式虛擬實境 / Graphic-Based VR
	影像式虛擬實境 / Image Based VR
	融入與互動式虛擬棒球遊戲中真人揮棒打擊
	VRML Tutorial: Index
	Distributed Virtual Reality -- An Overview

國內

	http://www.microsova.com.tw/
	http://www.klcivs.kl.edu.tw/klct8-13.htm
	花旗資訊股份有限公司
	政治大學校園虛擬實境
	淡江大學∼【校 園 風 情】
	電腦組裝虛擬實境
	網路小學虛擬教室
	中央大學資訊工程系 影像處理暨虛擬實境實驗室

	水庫風情
	Hello! VRML 虛擬實境

國外

	http://www.evox.com/
	虛擬威尼斯
	3D Webmaster
	Superscape
	Kitchen Designer
	3D Soccer
	Driving Game
	Cy-Berlin

Hardware and Accesories

	The Homebrew-VR Homepage
	Industrial Virtual Reality Products
	Warp
	The PowerGlove Serial Interface