前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的視覺算法培訓主題范文,僅供參考,歡迎閱讀并收藏。
關鍵詞: 虛擬現(xiàn)實; 雙目視差; 近距顯示; 視覺舒適度
中圖分類號: TN27?34; TM417 文獻標識碼: A 文章編號: 1004?373X(2017)01?0140?05
Abstract: The virtual reality technology developed rapidly, and has been widely used in many fields, but the traditional CAVE system is difficult to promote and popularize due to the large floor space, high cost and difficult installation and adjustment, therefore, the research and development of the portable CAVE system has great significance to the popularization and development of the virtual reality technology. According to the features of the portable CAVE system, the visual optical system was designed, the distortion correction of the projected image and random dot stereogram generation algorithm are studied, and the close range stereoscopic display system based on visual optical system adjustment was built. The subjective evaluation experiment of the visual comfort degree was designed and implemented to explore the relationship between the visual fatigue degree and parallax caused by the close range display. The visual comfort degree of the stereoscopic display system based on visual optical system was assessed. This technology provides a reference foundation for the study of the portable CAVE system, and has a certain practical significance to the development of the virtual reality technology and the study of the stereoscopic visual comfort degree.
Keywords: virtual reality; binocular disparity; close range display; visual comfort degree
0 引 言
近年恚虛擬現(xiàn)實技術發(fā)展迅速,已經被廣泛應用于軍事訓練、醫(yī)學實習、娛樂游戲等諸多領域。傳統(tǒng)的虛擬現(xiàn)實顯示系統(tǒng)雖然技術成熟,但存在一些弊端,因此便攜式CAVE系統(tǒng)的概念應運而生。本文搭建了近距立體顯示原型系統(tǒng),通過主觀實驗,探究了便攜式CAVE系統(tǒng)中雙目視差的感知深度和單眼聚焦感知深度的差異,以及用戶可接受的視覺舒適范圍,對基于目視光學系統(tǒng)調節(jié)的立體顯示系統(tǒng)的視覺舒適度進行評估。
1 立體視覺舒適度的評估方法
1.1 刺激方法的選擇
為了避免視差的時間積累效應,實驗采用雙刺激連續(xù)分級法。為控制實驗過程中產生的習慣誤差,不同視差的立體圖按照隨機序列交替呈現(xiàn),且各視差出現(xiàn)的次數相等,整個序列中在前在后的機會相等。
實驗的具體刺激方法是:將波紋中心在零視差處的刺激物記為基準圖波紋中心在其他位置的刺激物記為待評估圖每次施測依次顯示三個刺激物,其順序為或者其目的是強迫用戶改變雙眼的輻輳角度。每個刺激物顯示1.5 s,三個刺激物共顯示4.5 s,不同視差的待評估圖像隨機出現(xiàn)。被試者要獨立地進行觀測,選出其中一個與其他兩個波動方向不同的刺激物,并對該過程的視覺舒適度進行主觀評分。同一組圖像需隨機顯示兩次以便對評分結果進行一致性檢查。
1.2 反應指標的選擇
反應指標的選擇應依據以下原則:
(1) 無害性。所選取的反應指標不應對被試者產生身體傷害,同時不能對被試者產生負面心理影響,阻礙實驗的繼續(xù)進行。
(2) 無干擾性。所選取的反應指標在測量過程中不能干擾被試者正常觀看圖像。
(3) 敏感性。所選反應指標應該能夠有效地反應出視覺舒適度和視覺疲勞程度。
根據分析,實驗主要采用主觀評估方法對視覺舒適度進行研究。主觀評價方法更適用于對視覺舒適度進行綜合評價。舒適度的主觀評價方法[1]主要是讓被試者在觀看立體圖像前后根據自身的視覺狀況填寫問卷,并對問卷的結果進行統(tǒng)計分析。
1.3 主觀量表設計方法
主觀量是指用戶對客觀刺激產生的主觀度量,又稱心理量[2]。在視覺實驗中,主觀評估方法需對被試者心理量進行測量。主觀實驗中的心理度量表主要包括:強迫選擇度量表、圖示度量表和數值度量表。
(1) 強迫選擇度量表。強迫選擇度量表是在主觀評估實驗時主試者提供一些對立相反的詞語讓被試者做出選擇。強迫選擇度量表可以避免被試者受到他人的影響,但可能會使被試者產生抵觸情緒,因為大多數人不愿意讓自己處于兩難選擇的境地。
(2) 圖示度量表。圖示度量表好比一個溫度計,通常用一條直線表示,直線兩端具有相反程度的詞語。這條直線可以是水平的,也可以是垂直的。實驗中被試者需在直線上做標記,實驗后主試者用標尺對標記進行度量,將它轉換成數字并進行統(tǒng)計。圖示度量表的數據統(tǒng)計工作較為復雜和繁瑣,本文實驗的數據量巨大,因此圖示度量表并不適用。
(3) 數值度量表。在數值度量表中,被試者根據事先定義的數字等級進行評定,一般為7級評分或5級評分。在視覺舒適度研究中,可設計度量表如下:非常舒適、舒適、一般、不舒適、非常不舒適。設定等級分值時可以考慮“非常不舒適”為-2分,“不舒適”為-1分,“一般”為0分,“舒適”為1分,“非常舒適”為2分;也可以考慮“非常不舒適”為1分,“不舒適”為2分,“一般”為3分,“舒適”為4分,“非常舒適”為5分。通常情況下不管哪種處理和分析得到的結果是等效的。
本文實驗為了使被試者容易理解,考慮一般人的思維模式,將數值度量表等級設計為:“非常舒適”為1分,“舒適”為2分,“一般”為3分,“不舒適”為4分,“極不舒適”為5分。舒適度量表如表1所示。
2 近距立體顯示實驗系統(tǒng)
2.1 目視光學系統(tǒng)
在便攜式CAVE系統(tǒng)中,需要利用目視光學系統(tǒng)調節(jié)用戶眼睛的調節(jié)距離,使人眼不再聚焦于屏幕上。本文實驗的目的是研究經過目視光學系統(tǒng)調節(jié)后的單眼調節(jié)距離和雙眼輻輳距離的差異對用戶視覺舒適度的影響。實驗中需通過改變目視光學系統(tǒng)的屈光度來改變被試者單眼的調節(jié)距離。考慮到人眼作為自然界的最高級光學接收系統(tǒng),具有極強的自我適應和調節(jié)能力,因此,本系統(tǒng)選用單片式目鏡即可滿足基本的成像要求。
2.2 隨機點立體圖的生成
隨機點立體圖像對的生成算法如下:
設基面為視差面為
(1) 將基面沿縱方向均分成塊,左邊第一塊區(qū)域為原始區(qū),其余各塊區(qū)域均為重復區(qū)域。重復間距為d必須小于瞳距。
(2) 在原始區(qū)內畫一個隨機點
(3) 令得到一新的點如果點在面內,則令如果點不在面內,則令然后在處畫出這個新點。
(4) 重復上述步驟(2)、步驟(3),直到圖面上布滿適當密度的隨機點為止。
2.3 投影圖像的畸變矯正
本系統(tǒng)應采用側投影的方式,在這種情況下投影圖像會產生畸變,應進行投影圖像的畸變矯正。進行投影圖像的畸變矯正的模型是將真實投影機的投影圖像變換為虛擬投影機的投影圖像,從而恢復原始圖像[5]。其基本過程是:根據透視變換原理,先計算出投影機圖像平面到投影平面的單映矩陣,再將投影機圖像平面上的所有像素點乘以這個單映矩陣后進行顯示,那么屏幕上獲得的圖像就是校正后的圖像。
3 近距立體顯示系統(tǒng)的舒適度評估實驗
3.1 實驗目的及原理
本實驗的主要目的是研究基于目視光學系統(tǒng)調節(jié)的近距立體顯示系統(tǒng)中單眼感知深度(調節(jié)距離)和雙眼感知深度(輻輳距離)[5]的差異對用戶視覺舒適度的影響。
由式(8)可知,當眼睛到屏幕的距離和瞳距一定時,通過改變立體圖像對的水平視差可以改變被試者的雙眼感知深度(輻輳距離)。
3.2 被試者篩選及培訓
篩選工具:數字化立體視覺檢查圖(立體視覺檢查卡、立體視銳度檢查卡)、瞳距測量尺。
本實驗被試者的篩選流程如下:
第一步:詢問被試者眼部的健康狀況、有無色盲、是否做過眼部手術、是否有眼部病史,如結膜炎、眼眶骨折等,篩選出眼睛健康且無病史的被試者。
第二步:進行立體視覺測試,檢查被試者的雙目立體視覺是否正常,排除立體盲。
第三步:對立體視覺正常的被試者進行立體視銳度測試,篩選出立體視銳度小于60 arcmin的被試者。
第四步:對被試者的年齡、性別、視力、瞳距、有無主觀實驗經驗、是否從事立體視覺相關工作等基本信息進行記錄[6]。
榱吮苊獗皇哉哂捎誆皇煜な笛榱鞒毯筒僮鞴程而影響實驗結果的準確性,實驗前需對被試者進行相關培訓和模擬練習。
首先,采用無偏向性的語氣向被試者講解實驗目的、評價類型、評價等級和時間限制等內容,使被試者正確透徹地理解評判標準,并向被試者展示舒適度明顯不同的若干立體圖像示例。
然后,讓被試者進行模擬練習,模擬練習的內容與正式的實驗過程類似。被試者連續(xù)觀看三組立體圖像后,用選擇器輸入差異圖像的編號并對該組立體圖像引起的視疲勞程度進行評分,練習時間為3 min。
培訓完成后,被試者即可進行正式的主觀視覺舒適度評價實驗。
3.3 實驗過程
實驗1:探究近距顯示引起的視覺疲勞與視差的關系
被試者佩戴屈光度為0的目視光學系統(tǒng),在距離屏幕0.6 m的位置觀察隨機出現(xiàn)的立體圖像,并進行視覺任務測試和主觀舒適度評分。實驗1設定刺激物的中心到被試者的距離(輻輳距離)分別為0.79 m,0.94 m,1.15 m,1.50 m,2.14 m,3.75 m,且隨機出現(xiàn)。調節(jié)距離為0.6 m。
實驗1共進行36組小測試。每組測試會連續(xù)出現(xiàn)3幅立體圖像,被試者雙眼融像[7]后,可看到立體圖像出現(xiàn)正弦波紋的效果,被試者需選出一個與其他兩個正弦波動方向不同的立體圖像,利用選擇器將它的編號輸入到主機系統(tǒng)中。然后對該組小測試產生的視覺疲勞癥狀進行主觀評分。
時間安排及流程:三種位置(1,2,3)×6種輻輳距離(0.79 m,0.94 m,1.15 m,1.50 m,2.14 m,3.75 m)×2種顯示序列(B?Xi?B或Xi?B?Xi)=36次施測,每次施測時間為1 min×36次=36 min。
實驗2:探究基于目視光學系統(tǒng)調節(jié)的立體視覺舒適度
被試者隨機佩戴屈光度分別為的目視光學系統(tǒng),在距離屏幕0.6 m的位置依次進行3個亞組的實驗,實驗2中設定刺激物的中心到被試者的距離(輻輳距離)分別為0.79 m,0.94 m,1.15 m,1.50 m,2.14 m,且隨機出現(xiàn)。人眼的調節(jié)距離分別為1.09 m,1.50 m,2.40 m。
實驗2中每個亞組各進行30組小測試。每組測試會連續(xù)出現(xiàn)3幅立體圖像,被試者雙眼融像后,可以看到立體圖像出現(xiàn)正弦波紋的效果,被試者需選出一個與其他兩個正弦波動方向不同的立體圖像,利用選擇器將它的編號輸入主機中,然后對該組小測試產生的視覺疲勞癥狀進行主觀評分。
時間安排及流程:3種透鏡度數×3種位置(1,2,3)×5種輻輳距離(0.79 m,0.94 m,1.15 m,1.50 m,2.14 m)×2種顯示序列(B?Xi?B或Xi?B?Xi)=90次施測,每次施測調節(jié)時間為1 min×90+15 min間隔休息×2=120 min。
3.4 實驗結果分析
(1) 近距顯示引起的視覺疲勞與視差絕對值[8]呈正相關
將實驗1中24個被試者的舒適度主觀評分根據不同的輻輳距離進行均值統(tǒng)計。當視差取絕對值時,視差絕對值和視覺舒適度主觀評分值經過線性擬合后得到兩者的關系模型為:
視差絕對值和視覺舒適度主觀評分值的線性相關度為具體見圖2。實驗結果表明,視覺舒適度的主觀評分與視差值呈線性關系,也就是說,對于近距立體顯示單眼聚焦和雙眼輻輳的不一致性所引起的視覺疲勞與立體視差值成正比關系。單眼聚焦和雙眼輻輳的差異越大,產生的視疲勞程度越大,這個結果與大部分研究結果相一致。
(2) 主觀舒適度與理論值的符合度基本一致
將實驗2中24個被試者的視覺舒適度主觀評分根據不同的輻輳距離和調節(jié)距離進行均值統(tǒng)計,并將每個亞組的理論舒適度和實驗獲得的主觀舒適度進行比較。
目視光學系統(tǒng)的屈光度為0.75D,1.00D,1.25D的實驗結果,如圖3~圖5所示。
實驗結果表明,當調節(jié)距離一定時,分別為1.09 m,1.5 m,2.4 m,由輻輳距離的改變引起的視疲勞癥狀與理論計算得到的結果在總趨勢上大體一致。在基于目視光學系統(tǒng)調節(jié)的立體顯示系統(tǒng)中,輻輳距離越小,符合度越好。在相同視差條件下,經過目視光學系統(tǒng)調節(jié)后產生更大的不適感。
(3) 視差舒適度曲線
將實驗2中三個亞組的所有情況的視差值與主觀舒適度評分進行綜合統(tǒng)計,繪制舒適度曲線如圖6所示。
實驗結果表明,基于目視光學系統(tǒng)調節(jié)的立體顯示系統(tǒng)中,視差絕對值越小,視覺舒適度越高。在同等視差條件下,非交叉視差的舒適度優(yōu)于交叉視差。與傳統(tǒng)立體顯示設備相比,舒適視域向非交叉視差方向偏移。
4 結 論
本文在充分了解雙目立體視覺原理、視差型立體顯示技術原理、立體顯示引起視覺疲勞的根本原因等理論知識的基礎上,搭建近距虛擬現(xiàn)實顯示系統(tǒng)原型作為實驗系統(tǒng),設計實驗研究了基于目視光學系統(tǒng)調節(jié)的立體顯示系統(tǒng)的視覺舒適度問題。對虛擬現(xiàn)實技術的發(fā)展和立體視覺舒適度的研究具有一定的實際意義。
參考文獻
[1] 張英靜,李素梅,衛(wèi)津津,等.立體圖像質量的主觀評價方案[J].光子學報,2012,41(5):602?607.
[2] KIM D, CHOI S, SOHN K. Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics [J]. IEEE transactions on circuits and systems for video technology, 2013, 23(3): 482?487.
[3] 王飛,王晨升,劉曉杰.立體顯示技術的原理、體視因素和術語[J].工程圖學學報,2010(5):69?73.
[4] 李志永.立體視覺基礎[J].現(xiàn)代電影技術,2011(1):52?55.
[5] 顧郁蓮,蔡宣平.計算機立體視圖繪制技術[J].國防科技參考,1998,19(1):63?70.
[6] 敬萬鈞.虛擬現(xiàn)實中的視覺系統(tǒng)與其實現(xiàn)技術[J].計算機應用,1997,17(3):5?7.
關健詞:ASTER;GeoTIFF數據;DEM數據;格式轉換;Creator地形建模
中圖分類號:TP15文獻標識碼:A 文章編號:1009-3044(2011)17-4152-03
Three Dimensional Terrain Modeling Method with Creator Software Based on the ASTER Remote Sensing Data
TAO Hai-jun1, YANG Jing2, YE Xiao-jun1
(1.Artillery Academy.PLA, Hefei 230031, China; 2.Anhui Sanlian University, Hefei 230001, China)
Abstract: Large area real terrain modeling is the key technology in developing Visual simulation system. This paper provides a terrain modeling method with Creator software based on the ASTER remote sensing satellite data, the GeoTIFF data format provided by ASTER is being converted to the USGS DEM data by using format Conversion techniques, the terrain model of some region is established through Creator terrain modeling technology, the three-dimensional model of real terrain is established practically and quickly.
Key words: ASTER; GeoTIFF data; DEM data; format conversion; creator terrain modeling
視景仿真是三維地形建模技術、圖形處理和圖像生成技術、立體影像和信息合成技術、計算機網絡技術、仿真技術等諸多高新技術的綜合應用,在很多領域如軍事訓練、城市規(guī)劃、健康醫(yī)療、教育培訓等方面都有著廣泛的應用。大面積真實地形三維建模技術是實時視景仿真系統(tǒng)開發(fā)的關鍵技術之一,是近年來視景仿真領域研究的熱點。能獲取真實、準確地表述地形起伏特征的地形數據源是進行大面積真實地形三維建模的前提條件,地形數據源主要是指建立數字高程模型(Digital Elevation Model,DEM)用到的高程數據,獲取方法主要有以下幾種:1)采用大地測量的方法直接從地形上測出高程;2)利用航空攝影測量照片,采用數字高程判斷儀從兩張對應的照片上讀取高程;3)利用遙感衛(wèi)星星載設備獲取地形高程數據;4)從小比例尺等高線地圖上讀取高程數據;5)從現(xiàn)有的地理信息系統(tǒng)提取所需區(qū)域的地形高程數據[1]。其中利用遙感地形數據源進行大面積地形三維建模是目前地形建模的主要方法之一,本文重點研究基于ASTER遙感數據的Creator三維地形建模過程、方法和技巧。
1 ASTER遙感地形數據源精度解析
ASTER(Advanced Spaceborne Thermal Emission and Reflection Radiometer)是美國航空航天局(NASA)與日本國際經貿商業(yè)部(METI)合作的高分辨率衛(wèi)星成像設備,于1999年12月搭載NASA的EOS-AM1(Terra)平臺升空,目地是獲取地球表面溫度、輻射、反射和高程數據,研究生物圈、水圈、巖石圈和大氣層之間的互動反應,解決土地利用與覆蓋、自然災害(火山噴發(fā)、水災、森林火災、地震和風暴)、短期天氣變動、水文等方面的問題。ASTER有可見光和近紅外區(qū)(VNIR)三個波段,在短波紅外區(qū)(SWIR)有六個波段,在熱紅外區(qū)(TIR)有五個波段,它們的地面分辨率分別是15m、30m、90m。
2009年,美國航空航天局(NASA)官方網站提供了ASTER的最新全球遙感數據,該數據源采用的是GeoTIFF數據格式的DEM數據(簡稱ASTER GDEM),ASTER遙感數據記錄的地域非常廣闊,覆蓋范圍從北緯83度到南緯83度,除了部分極地區(qū)域,覆蓋絕大部分的地球區(qū)域。每個ASTER GDEM地形文件包含1度×1度的范圍,用一個3601×3601像素的TIFF圖片來記錄地形信息,采樣精度達到了30米,海拔精度為7-14米,基本滿足普通三維地形建模的數據精度要求[2]。
2 ASTER遙感數據格式轉換技術
ASTER遙感數據采用GeoTIFF(Geographic Tagged Image File Format)存儲格式,GeoTIFF是TIFF (Tag Image File Format)圖像文件格式的擴展。TIFF (Tag Image File Format)圖像文件是圖形圖像處理中常用的格式之一,其圖像格式復雜,但由于它對圖像信息的存放靈活多變,可以支持很多色彩系統(tǒng),而且獨立于操作系統(tǒng),因此得到了廣泛應用。在各種地理信息系統(tǒng)、攝影測量與遙感等應用中,要求圖像具有地理編碼信息,如圖像所在的坐標系、比例尺、圖像上點的坐標、經緯度、長度單位及角度單位等等。對于存儲和讀取這些信息,純TIFF格式的圖像文件很難做到,而GeoTIFF作為TIFF的一種擴展,在TIFF的基礎上定義了一些GeoTag(地理標簽),對各種坐標系統(tǒng)、橢球基準、投影信息等進行定義和存儲,使圖像數據和地理數據存儲在同一圖像文件中,這樣就為開發(fā)人員制作和使用帶有地理信息的圖像提供了方便途徑[3]。
目前可用于進行三維地形建模的開發(fā)軟件很多,比如3DS MAX、Auto CAD、Maya、MultiGen Creator等,使用的開發(fā)環(huán)境不同,所需要的數據源格式也不相同。筆者選用MultiGen-Paradigm公司開發(fā)的Creator軟件進行三維地形開發(fā),使用該軟件建立模型,可以在滿足實時性的前提下,生成面向仿真的、逼真度高的大面積地形。然而ASTER GDEM格式的DEM地形數據文件不能直接在MultiGen Creator中使用,必須首先將ASTER GDEM格式的地形數據文件轉換成MultiGen Creator支持的USGS DEM(U.S.Geological Survey Digital Elevation Models)格式或者DTED格式,然后利用Creator地形格式轉換模塊生成MultiGen Creator專用的數字高程數據(Digital Elevation Data,DED)格式文件,上述格式轉換的過程是三維地形生成的重要環(huán)節(jié),該轉換過程可用圖1所示的流程圖進行描述。
轉換步驟為:
1)應用Global Mapper軟件提取ASTER GDEM數據文件中的地形數據信息,其中每個采樣點用(經度,緯度、高程)表示,Global Mapper會完成數據二維可視化圖像和3D模型的顯示。如圖2所示繪制的是北緯37度、東經117度附近地域的ASTER GDEM格式的數字高程模型。
2)在File菜單下選取Export Raster and Elevation Data項,在二級子菜單中選擇Export DEM Command菜單項輸出USGS DEM數據格式或者選擇Export DTED command菜單項輸出DTED數據格式。
3)在Options屬性頁中設定經緯度方向的格網間距,在提取范圍屬性頁中設定地形數據的經緯度范圍,生成采樣點的經緯度高程信息。
4)打開Multigen Creator,借助Creator平臺的Terrain模塊的DED Builder 工具,將DEM格式文件生成Creator專用的高程數據格式文件(DED),如圖3所示將USGS DEM數據格式轉化為DED數據格式。
圖2 Global Mapper繪制的GDEM數字高程模型圖3USGS DEM數據格式轉換成DED格式
3 Creator三維地形生成技術
根據仿真任務的不同需求,應建立不同分辨率的三維地形,比如飛行仿真需要大范圍的地形,實時性要求高,但對地形細節(jié)要求不高,而基于地面的車輛駕駛和徒步行走的仿真,需要較高的分辨率,但是地形的使用范圍較小,開發(fā)人員需要結合其仿真任務需求靈活設置不同的參數。進行Creator三維地形的建模的關鍵內容是地形的LOD(層次細節(jié))、投影方式、建模算法等參數的選取與設置。
3.1 層次細節(jié)模型參數設置
層次細節(jié)模型(Level of Details,LOD)技術的思想是在不影響畫面視覺效果的條件下,通過逐次簡化景物的表面細節(jié)來減少場景的幾何復雜度,其目的是提高繪制算法的效率,增加仿真的實時性。例如,若有許多可見面在屏幕上的投影小于一個像素,則完全可以合并這些可見面而對畫面的視覺效果沒有任何影響。該技術通常對每一原始多面體模型建立幾個不同逼近精度的幾何模型,與原模型相比,每個模型均保留了一定層次的細節(jié)。由于LOD算法要涉及到動態(tài)細分或規(guī)并三角網,所以運用LOD算法時,常采用規(guī)則網格進行地形建模。如圖4所示在Creator中設置LOD 為3層。
3.2 設置投影方式
Creator提供五種地圖投影方式:Flat Earth、Trapezoidal、Lambert Conic Conformal、UTM和Geocentric。Flat Earth在原點使用緯度,得到調整每個x值的單收斂因子,生成一個矩形的地形;Trapezoidal是一種方位角映射,在中心點最精確,離中心點越遠越扭曲;Lambert Conic Conformal使用兩條標準緯線,在北緯84°和南緯80°的中間最精確,距離兩極越近越扭曲;UTM使用旋轉90°的柱面圓柱投影,在經度上將地球分為六個區(qū)域,沿著中央子午線最精確,越遠離子午線越扭曲;Geocentric方式使用圓形地球映射,Z軸以地球中心為起點通過北極。我國地處中緯度地區(qū),適合采用斜軸方位投影。選擇Trapezoidal地圖投影方式,較好地保持了地形的輪廓形狀和地理位置,使等變形線與制圖區(qū)域的輪廓基本一致,減少了變形,提高了精度。如圖5所示設置投影方式為Trapezoidal地圖投影方式。
3.3 建模算法
用Creator將數字高程數據轉換成地形時,可以選擇四種轉換算法,分別是Polymesh、Delaunay、CAT和TCT四種算法。
Polymesh轉換算法主要適用于BSP進行遮擋計算的實時系統(tǒng)?;舅枷胧牵ㄟ^在原數字高程數據文件中對高程信息進行有規(guī)律的采用,從而獲取地形多邊形頂點坐標,創(chuàng)建矩形網絡的地形數據庫。
Delaunay轉換算法是一種基于Delaunay三角網的地形生成算法,主要適用于使用Z-buffering進行遮擋計算的實時系統(tǒng)。與Polymesh算法相比,生成相同精度的系統(tǒng)模型,使用Delaunay算法的地形模型中包含的多邊形數量較少。使用Delaunay算法時,數字高程數據中的每個高程點都會被采樣,而且會從最低的LOD地形模型生成,較低LOD模型中的多邊形頂點會被合并到較高的LOD地形模型中,以保證LOD地形之間的平滑過度。
TCT(Terrain Culture Triangulation)轉換算法相當于一種限制性的Delaunay算法。當使用TCT算法生成的地形時只能有一個單獨的LOD,而且只能用于批處理地形轉換中。
CAT(Continuous Adaptive Terrain)轉換算法是一種改進型Delaunay轉換算法,該算法提高了相鄰LOD地形之間的平滑過渡,可以有效避免由Polymesh和Delaunay算法生成的多LOD地形模型轉換的視覺跳躍現(xiàn)象。
本文選擇Delaunay三角剖分算法,因為,與規(guī)則網格算法(Polymesh)相比,生成相同精度的地形模型,使用Delaunay轉換算法的地形數據庫中包含的多邊形數量較少。
3.4 紋理貼圖
根據地形模型的LOD數量,將每張圖片調整為相應數量和精度的分辨率,將它們加載到Creator的紋理調板,并定義為地形紋理,設置紋理圖片的紋理坐標和地圖投影方式。
紋理坐標必須對應于地形模型的面積范圍和坐標位置,地圖投影方式則必須和對應地形模型的設置一致。然后通過Terrain/Batch GeoPut菜單命令,為對應的LOD地塊模型映射紋理。
圖6 生成的不含紋理的三維模型 圖7 加入紋理映射后的三維模型
3.5 測試地形并進一步優(yōu)化
整個三維地形生成完畢后,將其導入視景驅動環(huán)境下,在計算機仿真硬件平臺上,通過視點變換、其它仿真應用添加、網絡連接等多個綜合測試環(huán)節(jié),觀察場景運行的實時性和逼真度。地形模型數據庫的生成是一個需要反復試驗的過程,需要反復地優(yōu)化參數、完善模型,在實時性與逼真性之間進行平衡,合理設置轉換參數,最終達到最好的仿真效果[4]。
4 結論
本文采用我國東經117度~117.5度,北緯37度~37.5度地域的ASTER GDEM數據及其衛(wèi)星遙感圖像作為原始數據和地表紋理圖像,地球橢球模型選擇美國的WGS-84地球橢球模型,地形轉換選用Delaunay地形算法,地形模型的LOD數目設為3,根據地形模型的LOD數量,將每張地表紋理圖片調整為256×256、128×128、64×64像素三種分辨率,映射到不同LOD分辨率的模型。最后生成的三維地形模型的范圍約為48×56km2,共259200個面,地形效果圖如圖7所示。通過仿真程序測試,利用ASTER遙感數據生成的大面積三維地形達到了精細度高、真實感強、實時性好的仿真要求。
參考文獻:
[1] 王貴林,姚鑫.ASTER立體像對提取山地DEM精度研究[J].礦山測量,2008(6):34-35.
[2] 程博,劉少峰,楊巍然.Terra衛(wèi)星ASTER數據的特點與應用[J].華東地質學院學報,2003(3):15-16.
[3] 蔣球偉.基于MGIS的GeoTIFF應用研究[J].計算機工程與應用,2007(15):201-202.
【關鍵詞】虛擬現(xiàn)實;協(xié)同訓練;多用戶;網絡環(huán)境
【中圖分類號】G434【文獻標識碼】B【論文編號】1009―8097(2010)04―0120―03
引言
在國際上,VR與仿真技術非常普遍與成熟。在遠程協(xié)作的分布式VR與仿真系統(tǒng)方面,他們制定了一系列標準、協(xié)議和算法。在國外虛擬環(huán)境中的協(xié)同式訓練系統(tǒng)也有研究,比較有代表性的是SecuReVi系統(tǒng),它是利用MASCARET模型設計的虛擬環(huán)境中多人協(xié)同滅火的消防員訓練系統(tǒng),還有些遠程醫(yī)療手術協(xié)作訓練系統(tǒng),這些系統(tǒng)多數是在研究階段,成型產品極為少數。和一些發(fā)達國家相比,我國協(xié)同VR與仿真技術還有一定的差距,其應用也主要集中在軍事院校和研究所,也取得了一定研究成果[1][2],特別是在分布式VR與仿真領域里,國內在這方面的研究也有所開展[3][4]。
由于教育培訓軟件的應用長期局限于平面的文字及圖像表述,即使近年來動態(tài)圖形圖像表現(xiàn)形式大大提高了內容的表現(xiàn)效果,但仍無法真正滿足人類視覺、聽覺……甚至是感覺上的認同效應。因此,當前傳統(tǒng)的CBT(計算機支持的教育培訓體系,Computer Based Training)訓練方式已在一定程度上無法滿足高科技培訓的需要,基于計算機虛擬現(xiàn)實仿真技術的協(xié)同式訓練系統(tǒng)將視景仿真和協(xié)同工作的概念引入CBT中,它拋棄了傳統(tǒng)的訓練必須在真實的環(huán)境和場地下進行的觀念;同時也克服了傳統(tǒng)訓練無法模擬某些現(xiàn)場環(huán)境的缺陷,如飛機上、地鐵中、商廈里等,它使受訓人員不用再冒著一定的危險、不用再在投入巨額的設備購買和場地布置的情況下就能參加訓練。通過應用現(xiàn)代化的虛擬現(xiàn)實技術進行協(xié)同式訓練系統(tǒng)的研發(fā),將克服實際場地演練的諸多不足,不僅花費小,對環(huán)境沒有污染,而且沒有危險,是未來技能培訓的主要手段之一[5][6]。系統(tǒng)在各種高危領域和應急處理場合有著廣泛的應用,可應用于工廠企業(yè)、航空、地鐵公司、社區(qū)、商店等大型場所的應急訓練;還可用于部隊演習;學校、研究所大型實驗;網絡游戲;遠程醫(yī)療等。該系統(tǒng)的研究將推動計算機虛擬現(xiàn)實仿真技術的發(fā)展,促進了計算機科學在現(xiàn)實生活中的應用。本文以航空客艙乘務員應急處理訓練為例,介紹基于虛擬現(xiàn)實的協(xié)同訓練系統(tǒng)的設計過程、原理及關鍵技術的實現(xiàn)。
一 系統(tǒng)描述
基于虛擬現(xiàn)實的協(xié)同訓練系統(tǒng)是一個綜合應用虛擬現(xiàn)實技術、網絡通信技術、三維圖形圖像技術和數據庫技術設計和開發(fā)的一個虛擬仿真訓練軟件,具有在虛擬仿真環(huán)境中進行多用戶協(xié)同操作和基于知識庫的智能評判功能特點。系統(tǒng)利用三維技術構建各種虛擬訓練場景(如飛機、地鐵等),多個用戶在這樣的虛擬仿真環(huán)境中,通過網絡進行文字和語音的通信、相互合作完成一個訓練任務。同時,系統(tǒng)提供任務的知識庫進行操作過程的正確性判斷和提示,并詳細記錄各個用戶操作過程,提供專家進行評判(如圖1所示)。系統(tǒng)采用了視景仿真、多用戶協(xié)同、知識庫與匹配策略的技術,并在訓練過程中具有多感知性、實時性、互操作性以及真實臨場性的特征,可廣泛應用于特定環(huán)境下一個團隊通過相互配合,相互協(xié)作來有效地完成訓練任務
在此系統(tǒng)基礎上,加入具體應用的環(huán)境(3D場景),利用系統(tǒng)接口和核心功能設計具體應用的驅動模塊,形成具體應用的系統(tǒng)。如進行飛機客艙火災應急處理訓練,系統(tǒng)將裝入一個飛機機艙的場景和訓練角色,多人通過網絡、視景等多種交互方式協(xié)同地進行飛機客艙火災應急處理,形成了某一特定應用的協(xié)同式訓練的應用系統(tǒng)。
基于虛擬現(xiàn)實的協(xié)同訓練系統(tǒng)主要有如下應用特點:
1 基于虛擬現(xiàn)實的協(xié)同式訓練系統(tǒng),通過模擬現(xiàn)場的實際情況,從而提高實際操作人員對各種實際環(huán)境的協(xié)同處理能力。系統(tǒng)尤其適合于模擬高危領域的操作訓練,如火災、地震、防恐等;
2 克服了傳統(tǒng)訓練中實景再現(xiàn)困難、場地特殊、人員調度復雜等環(huán)境因素,適合機、地鐵、鬧市、商住大廈等情況較復雜地區(qū)的訓練模擬;
3 降低對人員財物等的安全威脅,也便于人員時間上的安排與調度,減少人力、財力等各方開支,并且間接性地減少了對周圍環(huán)境的污染。適合于要求團隊組員同時在現(xiàn)場進行協(xié)同訓練的場合,如遠程醫(yī)療專家合診、網絡游戲;
4 利用計算機手段,實現(xiàn)訓練模擬,運用多媒體的實現(xiàn)方式,提高人員訓練熱情和整體訓練效果,因而也適用于原理或操作較枯燥的訓練內容,如學校、研究所等實驗仿真。
二 系統(tǒng)實現(xiàn)原理
整個系統(tǒng)實現(xiàn)由三層結構組成(如圖2所示)。底層是操作系統(tǒng)與開發(fā)API組成的支撐環(huán)境,中間層是由核心程序與接口組成的系統(tǒng)平臺,頂層是三維場景模型與系統(tǒng)功能驅動組成的應用程序。
系統(tǒng)平臺主要由三維場景子系統(tǒng)、協(xié)同通信子系統(tǒng)和訓練管理子系統(tǒng)組成。其主要特點:將多用戶協(xié)同處理計算機模擬的理念,具體應用到行業(yè)技能訓練的領域中,并在訓練過程中,采用了視景仿真、協(xié)同、知識庫的技術。
(1) 三維場景子系統(tǒng)
三維場景子系統(tǒng)是用三維造型來模擬現(xiàn)實訓練環(huán)境的一種實時渲染圖形系統(tǒng)。系統(tǒng)完成的主要模塊有模型導入、運動仿真、場景設置、碰撞檢測等。
模型導入利用功能強大的三維造型軟件,如3DS Max,MAYA制作三維模型,紋理以及動畫等,然后輸入至訓練場景中,具體包括:3D對象導入、角色導入、動畫導入、材質和紋理的設置、坐標設置、比例變換等等。運動仿真是對場景中人和物體運動的一種數學物理描述以及控制,它包括各種運動類型,如走、跑、轉身、站立、蹲下、取物等等。場景設置主要是提供改變某些場景的參數,改善視覺效果,便于觀察和響應不同的訓練要求,具體包括:燈光設置、視角設置、環(huán)境設置、特殊效果設置(如火,煙霧)、聲音設置、紋理材質設置、動態(tài)對象的位置、方向和比例設置、坐標設置等等。碰撞檢測主要是防止物體間的相互干涉以及作為某些事件的觸發(fā)器,由檢測類型和檢測算法二大部分組成。檢測類型主要有視線范圍檢測(LOS line-of-sight)、三腳架法(TRIPOD)、凸塊檢測方法(BUMP)。LOS、TRIPOD、BUMP的算法主要是加入按一定規(guī)則分布的線段矢量,計算與干涉物體的交點,距離,方向以及設置回調函數。
(2) 同步通信子系統(tǒng)
協(xié)作通信系統(tǒng)完成的功能由語音通信、場景同步通信二大部分組成。
語音通信主要提供學員之間相互協(xié)調聯(lián)絡的通信平臺,也是協(xié)同訓練中對講、交談等的語音工具。
這里語音通信部分主要采用點對點(也可組播)的語音通信,是針對一個點實現(xiàn)話音的實時采集、處理、播放,同時可與其它點進行可靠的網絡語音數據傳送和接收。對于前者,采用Windows MDK的低層音頻服務,因為低層音頻服務中的回調機制為我們提供了音頻數據,設備驅動程序控制音頻設備在后成錄音和放音的具體操作,通過回調機制,我們又可以檢測到什么時候用完一個數據塊,并及時傳送下一個數據塊,從而保證了聲音的連續(xù),有了這種單機上的實時采集、回放功能后,接下來的工作就是在網絡上傳送語音數據。在點對點網絡傳輸方面,選擇基于無連接的UDP協(xié)議,UDP用戶數據報協(xié)議能夠向若干臺目標計算機發(fā)送數據,接收發(fā)自若干個源計算機的數據。在采集話音回放之前,一方面將自己的語音傳給網絡,另一方面接收網絡傳來的語音,具體是利用Windows Socket API實現(xiàn)的。
場景同步通信主要提供多用戶之間場景一致的功能,它由服務器、會話、用戶、網絡消息和分布式對象組成。
多用戶服務器是基于客戶/服務器技術,所有用戶之間的通信必須通過服務器。一個用戶與其他用戶交互必須連接到一個會話上,一個用戶同時只能連接一個會話,并且只能與連接到同一會話的用戶通信。用戶有二個參數,一是用戶名,二是用戶ID,一個客戶在連接或產生會話前必須設置用戶名。網絡消息是用戶之間通信的主要方法,這個消息類似窗口消息,可以在消息中附帶數據。分布式對象是另一個用戶間傳送信息的機制,它相關于場景中某一個實體,且按照一定規(guī)則分布到所有用戶機上,分布式對象是類的一個實例,它有自己的屬性,需要時可以通過網絡通信來更新。同步通信技術借鑒了國外的DIS(分布式交互系統(tǒng))和HLA(高層架構)等技術。
(3) 訓練管理子系統(tǒng)
訓練管理系統(tǒng)主要是用于處理訓練相關的信息,它完成的功能有訓練知識庫、實時跟蹤記錄、沖突解決機制等。
訓練知識庫主要包括訓練數據庫、訓練規(guī)則和匹配策略。訓練數據庫主要有學員信息、課程信息、訓練信息等等。訓練規(guī)則主要有角色定義與分配規(guī)則、評判規(guī)則、記分規(guī)則,其中評判規(guī)則包括動作執(zhí)行者、動作間的關系、施加對象以及次數等等。匹配策略主要是有序無序的匹配、規(guī)則樹的遍歷。
實時跟蹤記錄實際上是對學員的操作流進行管理的一個模塊,它主要有觸發(fā)事件、操作信息收集、發(fā)送與接收(操作信息)和記錄器組成。
沖突解決機制主要是多學員在協(xié)同訓練中發(fā)生操作沖突時的一種消除機制。其中簡單的方法是加鎖解鎖、延時的方法,比較高級的有優(yōu)先級和擁有權的處理。
三 系統(tǒng)應用示例
客艙火災應急處理訓練是利用協(xié)同訓練平臺開發(fā)的一個應用實例,主要是在模擬飛機機艙內協(xié)作完成滅火訓練任務。這個訓練任務描述如下:
客機平穩(wěn)而正常地行駛著,乘客們安靜地享受著舒適的空中之旅,艙內的乘務員出現(xiàn)在各自的位置上,此時,公共信息廣播:此次航班由上海飛往北京,祝各位旅客旅途愉快。30秒后,前工作區(qū)的學員看到屬于她的信息窗顯示:附近有怪異的煙味,請速核查。并且她看到絲絲煙霧飄散。該學員先去查核哪里發(fā)生火情,確定是在壁櫥的衣帽間,用手試探門的涼熱,其信息窗口顯示兩級溫度信息:門是涼的/門很燙手;該學員使用話機通知乘務長,并請求附近的乘務員速帶滅火器材來協(xié)助,本人去駕駛艙拿應急斧,取來應急斧,在門上開一個小洞,來支援的乘務員拿海倫滅火器來了,對著洞口噴滅火劑,直至火滅,開門檢查燃燒物,防止死灰復燃。最后把火災的處理結果報告乘務長,由乘務長報告給機長。
該應用實例包括一個三維實例場景和一個實例驅動模型。三維實例場景就是飛機機艙、火、煙霧、角色及其他設施,驅動模型是具體應用的情節(jié)腳本,由滅火操作、協(xié)作規(guī)則、評判規(guī)則等許多事件構成的。應用實例系統(tǒng)主要界面如圖3所示。
四 結束語
在網絡環(huán)境和多用戶視景交互的支持下,人們可以通過交互設備,利用聽覺、視覺、觸覺在虛擬的環(huán)境中協(xié)作完成訓練任務,從而形成一套具有“視景”和“協(xié)同”特色的訓練軟件。本文主要描述了一個基于虛擬現(xiàn)實的多用戶協(xié)同訓練系統(tǒng)的結構設計、技術架構、網絡通信和應用示例。隨著基于虛擬現(xiàn)實技術的CBT系統(tǒng)正在逐步取代過去單機、單一任務的CBT系統(tǒng),將給計算機培訓提供一種嶄新的系統(tǒng)訓練方式,能使許多特殊場合的訓練變得非常方便,同時極大提高培訓的效果。本系統(tǒng)中設計的技術和方法希望對于其他分布式訓練系統(tǒng)的開發(fā)具有借鑒作用。
參考文獻
[1] 龐津津,戴述賈.分布式系統(tǒng)仿真技術研究及其實現(xiàn)[J].火力與指揮控制, 2001,(1): 37-40.
[2] 洪津,張萬軍,謝慶華,陳明宏,王永健.虛擬維修訓練系統(tǒng)發(fā)展綜述及其關鍵技術探討[J].理工大學學報(自然科學版),2000,(1):63-67.
[3] 王潤崗,花傳杰,唐科群,王艾萍.坦克車炮長協(xié)同訓練仿真系統(tǒng)設計與實現(xiàn)[J].火力與指揮控制, 2008,(9):112-114.
[4] 袁海波,劉厚泉,吳雪峰.虛擬場景動態(tài)交互式可視化的研究[J].電腦與信息技術,2008,(6):7-9.
[5] 湯衛(wèi)華,滅火救援協(xié)同戰(zhàn)術訓練探析[J].公安研究, 2007,
關鍵字: 模擬器; 飛行訓練; 虛擬仿真; 逼真顯示效果
中圖分類號: TN964?34 文獻標識碼: A 文章編號: 1004?373X(2013)08?0042?03
0 引 言
虛擬現(xiàn)實技術又稱為“靈境技術”,它最早可以追溯到20世紀80年代。虛擬現(xiàn)實技術是綜合了計算機仿真技術、圖形技術、遙感技術和傳感技術等諸多領域,營造了一個逼真的三維虛擬環(huán)境,人們可以通過一系列的工具與環(huán)境中的對象進行交互,從而達到一種身臨其境的感覺[1]。
如今,虛擬現(xiàn)實技術已經滲透到生活的各個方面,并在各大領域里發(fā)揮著重要的作用[2]。虛擬仿真技術在訓練飛行員方面也大有用武之地。目前,很多國家就利用虛擬現(xiàn)實技術開發(fā)的飛行訓練模擬器使飛行員進入VR世界來進行訓練,接下來將討論虛擬技術在飛行模擬訓練中的研究和貢獻。
模擬訓練具有節(jié)能、安全、不受場地與天氣影響、花銷較低等一系列的優(yōu)點,因此模擬訓練被廣泛地應用在軍事訓練當中[3]。在模擬訓練中,虛擬環(huán)境的真實性和逼真性會影響到飛行員的訓練效果,而人對環(huán)境的感知是通過聽覺、觸覺、視覺、和嗅覺等來獲得的,而其中70%的感知是通過視覺來獲得的,因此,虛擬環(huán)境的建立是模擬器中極為重要的組成部分[4?7]。
1 虛擬仿真平臺的結構
該平臺的總體方案如圖1所示。
在圖1中,用于仿真計算的計算機主要完成的仿真工作有:飛機動力學和飛行動力學模型、自動飛行控制系統(tǒng)、導航系統(tǒng)、地形地貌仿真等功能模塊,將計算機計算得到的航跡實時顯示在平面的數字地圖上,并將仿真得到的飛行器的狀況、方位和儀表數據等一系列的信息傳遞給另一臺計算機,這時第二臺計算機就來計算實時的實景。這臺計算機利用得到的信息,使得3D的飛機模型飛行在三維空間中,2臺計算機間是通過IPX協(xié)議進行通信的。
2 飛機空間運動模型的建立
在建立數據模型的過程中,要采用了氣動參數進行動態(tài)插值的方法建立飛機運動模型[5]。
2.1 飛機動力學方程
飛機飛行時受到了發(fā)動機推力FT、重力g、氣動側力Y、氣動升力L和氣動阻力D共同作用。根據牛頓第二定律,在地面坐標系下的飛機飛行動力學方程為[5]:
[F=mdVdt=md(ui+vj+wk)dx=m(ui+vj+wk+ω×V)] (1)
[M=r×dF=vr×dVdtdV] (2)
在坐標系下展開式(1)后得到以下方程:
[V=1mRcos(φ+α)cosβ-FTcosβ+Zsinβ-g(cosαcosβsinθ-sinαcosβcosθcos?-sinβcosθsin?)][α=r-tanβ(pcosα-qsinα)+gVcosβ(sinαsinθ+ cosαcosθcos?)-1mVcosβ(Rsin(φ+α)+Y)]
式中:[α]為迎角;[β]為側滑角; [φ]為偏航角;[θ]為俯仰角;V為飛行速度; p,q,r為飛機角速度在機體軸系中的分量。分解式(2),可以得出以下的飛機繞質心轉動的方程:
[p=φ-?sinθq=θcosφ+?cosθsinφr=-θsinφ+?cosθcosφ]
2.2 飛機運動學方程
以上面得到的飛機動力學方程組為基礎。在地面坐標系中的地速ue,ve,we可表示為:
[uevewe=ATuvw]
式中[AT]是從地軸系轉換到機體軸系的方向余弦矩陣。
2.3 空氣動力及力矩
在氣動模型中,飛機是使用多維數據來表示的,在開發(fā)視景系統(tǒng)時以采用某型運輸機飛行仿真氣動數據包為基礎,采用線性插值的方法得到飛行中的飛機狀態(tài)的氣動參數。
機體軸上的氣動力及力矩為:
[FA,x=(CXsinα-CDcosα)QSFA,y=CyQSFA,z=(-CDsinα-CLcosα)QS]
[LA=(Clcosα-CDsinα)QSbwNA=(Cncosα+Clsinα)QSbwMA=CmQScw]
式中:A為空氣;bw為機翼翼展;c為機翼平均空氣動弦;S為機翼面積;Q為動壓。從而得到飛機所受的總力及力矩(沿著機體軸x,y,z)
[Fx=FA,x+FT,x+FG,x+GxFy=FA,y+FT,y+FG,y+GyFz=FA,z+FT,z+FG,z+Gz]
[L=LA+LGM=MA+MT+MGN=NA+NT+NG]
式中:T為發(fā)動機;G為起落架(Gx,Gy,Gz為飛機所受重力在機體軸x,y,z上的分量),M,L,N分別為俯仰、滾轉、偏航力矩。
3 視景仿真系統(tǒng)的開發(fā)
3.1 視景仿真系統(tǒng)的結構
場景生成可以生成地面、高山、流水以及建筑物等的地面場景;模型控制可以用來控制系統(tǒng)中的模型;語音技術能夠模仿飛機的聲音效果;特殊效果包括風霜雪雨等效果;視點變換可以改變飛行員的觀察角度;字體顯示可以用來顯示顯示器上的數據等。如圖2所示。
3.2 三維場景建立
虛擬飛行模擬系統(tǒng)的三維場景的建立需要幾個步驟:
步驟1:飛行模擬器的機體的繪制。要對飛行器內部的結構數據和外表的一些復雜的線條和面做簡化后,用OpenGL對機體外形進行建模。
步驟2:飛行模擬器的實體繪制。首先,要將OpenGL 初始化;其次,計算飛行器的中心位置,并用轉移矩陣進行坐標轉換,使飛行器到達最佳視覺狀態(tài);再次是材質及明暗處理方式;最后是開始繪制飛行器。
步驟3:三維場景層次結構的確定和場景的繪制。在構造飛行系統(tǒng)的三維場景時,根據飛行器與機場景物以及天空背景的交互運動關系決定了層次結構。場景的繪制可以采用與實體繪制相類似的方法。
4 結 語
本系統(tǒng)在結合飛機動力學方程和空氣動力學方程所建立的虛擬環(huán)境下進行虛擬操作訓練,不僅大大降低了開銷和危險系數,而且其可視的、三維實體的與物理原型無異,使得訓練人員具有身臨其境的感覺,便于培訓人員考察、判斷和訓練飛行技能[4]。本系統(tǒng)打破了傳統(tǒng)的培訓飛行員的方式,給人以直觀的感覺,駕駛員可以直接從顯示的動畫中判斷飛行狀況是否正常,它具有逼真的三維視覺效果,可以反復在地面進行虛擬操作訓練,適應了飛行訓練的發(fā)展需要。
參考文獻
[1] 王昊鵬,劉兵.飛行器虛擬現(xiàn)實仿真的研究[J].現(xiàn)代電子技術,2008,31(13):46?48.
[2] 范玉青.現(xiàn)代飛機制造技術[M].北京:北京航空航天大學出版社, 2001.
[3] LIU Chang?you. Modeling and simulating on flight push?out conflicts based on colored Petri net [C]// 2010 29th Chinese Control Conference (CCC). Beijing, China: CCC, 2010: 5447?5452.
[4] 蘇新兵.虛擬制造技術在飛行器設計中的應用[J].現(xiàn)代制造工程,2007(2):127?129.
[5] 張華磊.大型運輸機綜合訓練器虛擬仿真環(huán)境的設計[J].計算機仿真,2008(5):64?68.
[6] 劉偉.人?飛機?環(huán)境系統(tǒng)模擬中數學模型的研究與分析[J].人類工效學,2001(3):2?5.
[7] 崔漢國.基于VRML的分布式裝備維修仿真訓練系統(tǒng)[J].計算機仿真,2003(3):15?17.
申萬計算機指數漲跌幅在所有申萬一級行業(yè)中排名第二十八(28/28)。分版塊來看,上周各主題板塊指數不同程度下跌,電子商務指數、第三方支付指數、在線教育指數表現(xiàn)位居前列,人工智能指數、云計算指數、區(qū)塊鏈指數表現(xiàn)最差。上周計算機板塊有25家公司上漲,11家公司持平,158家公司下跌。其中漲幅比較大的公司有中新賽克(+23.38%)、科藍軟件(+12.73%)、絲路視覺(+12.7%)、中威電子(+6.96%)、正元智慧(+6.96%)。
本周行業(yè)觀點:上周,谷歌推出了一套全新的人工智能服務工具CloudAutoML。該工具能夠幫助開發(fā)者自動生成一個定制化的機器學習模型,即通過人工智能的方法來產生定制化的人工智能模型。目前AutoML還處在測試階段,僅支持計算機視覺模型,后續(xù)可能將服務拓展到語音、翻譯、視頻、自然語言處理等所有標準機器學習模型。對AutoML的計算機視覺模式而言,在使用時,開發(fā)者需要上傳帶有數據標簽的圖片,隨后谷歌的系統(tǒng)會自動生成定制的圖像識別模型。在整個過程中,開發(fā)者僅需要參與少量的如數據準備、調參、評價和迭代等工作。我們認為,目前雖然人工智能技術發(fā)展和應用落地速度較快,但對于大多數公司而言人工智能技術發(fā)展所需要的人才及資金仍然是瓶頸所在。谷歌、微軟、百度這樣的科技巨頭利用其在人才、技術、資金方面的優(yōu)勢向外輸出人工智能技術,有利于降低人工智能技術門檻,有利于人工智能應用的進一步落地。而對這些科技巨頭而言,開發(fā)者調用其AI能力越頻繁,所積累的有價值數據也越多。但這種基于云端的定制化人工智能模型也存在一定缺陷,主要體現(xiàn)在數據隱私及安全、應用復雜程度不夠、模型的持續(xù)提升有困難等方面。從對產業(yè)的影響來看,AutoML工具的推出再次印證了未來AI能力的開放將成為大趨勢,業(yè)內AI企業(yè)在算法、技術層面的差距將會逐漸縮小,產業(yè)競爭優(yōu)勢越來越集中于高質量數據、高層次人工智能人才、平臺及生態(tài)構建等方面。
重點推薦公司:(1)恒華科技:“十三五”期間電網建設投入依舊可觀,配電網側建設是重點,智能化投入比例也有望提升。公司也在積極推進電力信息化領域的SaaS服務,云平臺業(yè)務進展順利,2017年年中總用戶數達到54,520家,相比去年同期增長約50%。新一輪電改的核心是售電側市場的放開,公司可以為新興售電公司提供從業(yè)務培訓、投融資、配網建設到信息系統(tǒng)建設的售電側一體化服務,公司有望受益于電改的深入推進;(2)佳都科技:公司以智能軌道交通和智慧城市為核心業(yè)務,兩項業(yè)務上半年均取得了重要進展。在軌道交通領域,2017年3月公司在武漢成立分公司,標志著公司繼廣州之外又一個根據地的確立。在智慧城市領域,公司積極推動人工智能技術、大數據技術和以視頻監(jiān)控為基礎的社會治安防控體系的結合,以形成特色產品、增強行業(yè)競爭力。
早在1990年,美國波音公司的研究員湯姆?考德爾(Tom Caudell)就提出了AR一詞,只是當時并未流行開來,不僅手持AR小產品沒有身臨其境之感,而且智能眼鏡很昂貴,看上去也很古怪。如今,隨著AR技術逐步為人們所接受,以及智能手機、平板電腦、谷歌眼鏡等頭戴式電腦的到來,增強現(xiàn)實技術變得更為實用,將真正顛覆教育培訓行業(yè)。
縮短工作和學習場景的距離
傳統(tǒng)企業(yè)培訓有四個亟待解決的痛點。
第一,以往的培訓方式――面授培訓、e-Learning或者M-Learning很難做到個性化培訓;
第二,在工業(yè)環(huán)境下,企業(yè)很注重以實踐為主,但是學習與練習往往無法并重,無法解放雙手;
第三,由于大部分員工幾乎使用不到互聯(lián)網和信息技術,培訓師無法管理到一線員工的工作和培訓細節(jié),大數據無法客觀采集和輸出;
第四,企業(yè)學習最常見的痛點是,傳統(tǒng)企業(yè)培訓無法解決員工“學時不能用,用時不能學”和“遺忘曲線”的困境――員工從培訓所學到的知識,只有10%能夠用在工作上,而且員工70%的學習經驗來源于工作中的鍛煉,20%來源于自我學習,僅10%來源于培訓(見圖表1)。
因此,要提高培訓效果,核心是解決“遺忘曲線”和“721模型”帶來的兩個問題,而這兩個問題的核心就在于工作場景與學習場景的距離。如果當下能夠把學習到的東西立即無縫使用在工作上,遺忘問題將能得到有效解決,工作中獲得的經驗也可以有助于即時鞏固所學內容。AR的出現(xiàn)掙脫了傳統(tǒng)培訓的束縛,帶來了全新的培訓方式,達成了培訓所強調的“即需、即學、即用、即評”。
培訓可被分為培訓1.0、2.0、3.0三個階段,在此過程中,一個明顯的演變特征是,縮短了工作場景和學習場景的距離(見圖表2)。在培訓1.0(傳統(tǒng)面授培訓)階段,老師是主導者,學生是被動學習。一對多的培訓,導致個性化較弱,個人學習者無法根據自身需求進行個性化學習。
在培訓2.0階段,老師變成輔導者,學生主動學習的環(huán)境和條件相對成熟。此階段的標志性學習方式是混合式學習,由于PC和手機的特性,學習者擁有自主選擇權,個性化培訓得到了一定的加強。
到了培訓3.0階段,AR的發(fā)展,有效解決了“遺忘曲線”和“721模型”這兩個長久的痛點。此階段的培訓方式是實時的工作輔助,讓培訓場景與工作場景無限接近直至重疊。
AR成就高效的培訓
我們可以看到, AR智能眼鏡的特性使得培訓場景與工作場景無限接近直至重疊。這意味著所學的知識可以完整滲透到工作中,讓無論是面授培訓還是e-Learning都難以解決的問題得到解決,完成高效的培訓。
體驗感是AR培訓的關鍵
要實現(xiàn)最高效的培訓,作為連接兩個場景的核心硬件――AR智能眼鏡,需要擁有良好的使用體驗。無論在工業(yè)中還是實操類培訓中,反復抬頭低頭、操作流程復雜、身體不停移動、操作過程久、雙手握物料工具等使用場景,都對AR智能眼鏡提出了體驗方面的高要求。
專業(yè)級的使用場景通常要進行長時間的培訓與實操,這就要求AR智能眼鏡戴得穩(wěn)、戴得久、看得清。很遺憾的是,目前國內、國外的AR智能眼鏡都不能算完全合格:單目式的智能眼鏡看不清;市面上雙目式的智能眼鏡戴不穩(wěn);頭箍式雙目AR智能眼鏡則戴不久。
因此,在設計AR智能眼鏡時,戴得穩(wěn)、戴得久、看得清成為嚴格的標準,三者缺一不可。合格的AR智能眼鏡應視角大、真實感強、無眩暈,顯示屏能夠根據需要隱藏、出現(xiàn)、移動,攝像頭中置,觀看圖像場景與現(xiàn)實場景更貼合。
軟件,讓培訓無限接近工作場景
在硬件滿足要求的情況下,軟件是實現(xiàn)完美培訓功能的核心。以0glass為例,我們開發(fā)了三大SDK(軟件開發(fā)工具包),包括增強現(xiàn)實NginAR SDK、大數據處理NginBD SDK、機器視覺NginCV SDK。
在培訓場景中,通過增強現(xiàn)實NginAR SDK,能夠自動或半自動生成AR圖形/圖像,對現(xiàn)有與培訓相關的圖文聲像等素材進行可視化編輯,開發(fā)出基于培訓場景的各類AR應用;大數據處理NginBD SDK實現(xiàn)了“以人為中心”的企業(yè)大數據采集、清洗、儲存、挖掘、推送,幫助企業(yè)培訓實時追蹤信息;機器視覺NginCV SDK能夠敏捷識別圖像,實時追蹤物件,滿足企業(yè)培訓領域中不同場景、不同環(huán)境的使用需求。
我們基于此三大SDK開發(fā)了一套工作輔助與培訓系統(tǒng)――PSS(Performance Support & Training System)。只要將與培訓相關的文字、圖片、視頻、語音信息導入這個系統(tǒng)進行編輯和處理,智能眼鏡就能將數字信息疊加在真實操作對象上,提示、指引學員使用何種工具、何種操作姿勢、如何搭配物料。這樣,學習場景與工作場景無限接近直至重疊,從根本上解決了師資有限、培訓周期長、評價不客觀等問題。
解放雙手 讓培訓與實踐同步
經過不斷研究與實踐,我們發(fā)現(xiàn)可以通過四大模塊來展開AR培訓:實時指導、透明管理、個人教練、知識沉淀。
第一,實時指導。企業(yè)將現(xiàn)有的與培訓相關的文字、圖片、視頻、語音信息導入相應軟件系統(tǒng)進行編輯和處理,AR智能眼鏡便能將維修數字信息疊加在真實操作對象上,提示并指引學員正確地使用工具、采用操作姿勢、搭配物料。
第二,透明管理。PSS通過人與智能眼鏡之間的交互、第一視角采集圖像、視覺算法識別等方式獲取學員平時工作的細節(jié),經軟件系統(tǒng)中的數據模型進行對比得到其工作數據報表,并給出針對個人的、具體到步驟的改進建議。與此同時,系統(tǒng)能夠積累分析數據,提前預防并糾正錯誤,加深維修學員對錯誤操作的記憶,避免壞習慣的形成。同時,管理人員或老師能夠自由選擇學員的第一視角了解其真實動手過程,結合數據分析了解其真正痛點,優(yōu)化培訓課程,給出具體到某個操作細節(jié)的改進建議。
第三,個人教練。我們將現(xiàn)有培訓系統(tǒng)與AR培訓系統(tǒng)連接,將課程要求和操作指引可視化、流程規(guī)范化,讓理論與實踐無限接近直至重疊,讓學員學習理論知識的同時體驗實操。利用智能眼鏡特殊的圖像呈現(xiàn)方式,AR培訓系統(tǒng)猶如一名優(yōu)秀的培訓教師站在學員的眼前,用最標準的動作、最規(guī)范的流程,教導學員識別每一個部件,完成每一個步驟。
第四,知識沉淀。PSS利用AR智能眼鏡天然的第一視角和自然的交互方式,采集維修學員的培訓數據(利用文字、語音、圖片、視頻、動作圖像識別記錄其工作過程中的每個細節(jié)),實時捕獲學員操作過程中好的經驗和技能,智能生成實戰(zhàn)型課件。AR培訓系統(tǒng)能夠將隱性知識結構化,沉淀于平臺,按需獲取,同時,將結構知識行為化,固化操作行為,讓系統(tǒng)成為知識管理的過濾器和沉淀器。
四大模塊可以解決“記不住、管不了、學不好、難傳承”等企業(yè)培訓痛點。針對那些操作繁瑣、操作規(guī)范/流程長、對效率有要求、對工作結果的安全性要求高的行業(yè),如能源、制造、維修、生產、航空、醫(yī)療、培訓等領域/行業(yè),AR培訓讓工作場景與學習場景距離甚遠的問題迎刃而解。
關鍵詞:機器人;計算機;教學
1、引言
隨著制造業(yè)和信息產業(yè)的迅速發(fā)展,機器人已在軍事、工業(yè)生產、救災、探險、醫(yī)療和教育等眾多領域內開始使用。未來機器人將在我們生活的各個方面扮演重要的角色,并大大提高人們的生活水平和質量。機器人的研究開發(fā)離不開計算機技術的應用,計算機是機器人的“大腦”,決定著機器人的智能水平,因此,在計算機的教學中,可以引入機器人來促進相關技術和知識的學習?;谶@種理念,本人組織研發(fā)團隊開發(fā)了一個智能機器人教學平臺,在我校開展面向大學生的智能機器人教學研究,以提高我校學生的計算機應用水平,并為培養(yǎng)出復合型創(chuàng)新性人才做出了一些探索。
2、計算機程序設計教學現(xiàn)狀
目前,國內外高校對計算機技術教學都比較重視,在所有高校的理工科大學生中都開展了計算機程序設計教學,程序設計課程在培養(yǎng)學生的邏輯思維能力和計算機應用能力方面取得了比較好的效果。但是,反思目前程序設計教學中存在的問題是必要的。由于大多數教學方案都是把重點放在程序設計語言與語法上,忽視程序設計的實際應用。在教學過程中,學生看不到具體的應用效果與價值,從而使得很多優(yōu)秀的學生在學完計算機程序設計課程之后,還是不知道怎樣開展應用研究。
對于初學程序設計的大學生來說興趣是學習的動力,傳統(tǒng)的程序設計教學表現(xiàn)媒介一般有字符和圖形兩種,特別是C語言程序的教學,大部分教師采用的是字符的展現(xiàn)形式,初學者很難看到程序設計的應用效果,體驗成功的樂趣。引入智能機器人平臺開展計算機技術教學,使得程序轉化為機器人的思維和能力,學生在編寫完程序后,可以馬上看到效果,這將徹底改變目前的這種教學狀態(tài)。
目前,國內外有很多大學和科研機構及公司開發(fā)了各種各樣的教學機器人,有的是面向中小學信息教育的,一般是圖形化開發(fā)工具,學生學不到真正的機器人開發(fā)中必要的程序設計知識;有的是用專用的機器人開發(fā)套件,需要學習專門的技術才能掌握機器人的開發(fā),不適合普及教育。而專門針對一般理工類大學生的程序設計教學的機器人比較少見,本項目中研究開發(fā)的智能機器人平臺主要用于高校計算機程序設計教學中,研究開發(fā)緊密結合教學實際,研究目標明確,是一種創(chuàng)新性的應用研究。
3、巡線機器人開發(fā)方案
盡管智能機器人可以有各種各樣的外表,但是,它們都有共同的特征,智能機器人擁有一個“大腦”,能夠像人類一樣進行“思考”,其核心是一臺嵌入到機器人上的計算機。目前,智能機器人還沒有一個統(tǒng)一的定義,大多數專家認為智能機器人至少要具備以下三個要素:一是感覺要素,用來認識外部環(huán)境狀態(tài);二是運動要素,對外界環(huán)境做出反應性動作;三是思考要素,根據感覺要素所得到的信息,計算出采用什么樣的動作。智能機器人是具有感知、思維和行動功能的機器,它可獲取、處理和識別多種信息,自主地完成較為復雜的操作任務[1]。
在輔導學生參加全國大學生“飛思卡爾”杯智能汽車競賽的過程中,本人經過總結和完善,設計出了一個可適合于不同層次教學的巡線機器人教學方案。在該教學方案中有使用激光傳感器和電磁傳感器的兩種巡線機器人,可以自動識別專門制作的道路自由駕駛。本教學方案中開發(fā)的巡線機器人是一種自主型智能機器人,這種自主型機器人具有感知、處理、決策和執(zhí)行等模塊,可以像一個自主的人一樣獨立地活動和處理問題,硬件上,這種具有一定智能的機器人需要有多種傳感器,功能強大的計算機和靈活精確的驅動系統(tǒng)[2]。
巡線機器人采用結構化設計,硬件和軟件模塊都按一定的規(guī)則定義好接口,使得初學者可以快速入門學習機器人的開發(fā)。巡線機器人系統(tǒng)結構可分為硬件和軟件兩大模塊,如圖 1所示。
圖 1 巡線機器人系統(tǒng)結構
在硬件設計方面,機器人的硬件實現(xiàn)模塊化設計,學生可以選擇不同的傳感器模塊組裝不同類型的機器人,對于電子類專業(yè)的學生,也可以由學生設計開發(fā)新的硬件模塊。軟件設計方面,在該機器人平臺上,編寫程序將有關的微控制器硬件接口封裝,降低學生學習程序設計的難度。
采用激光傳感器的巡線機器人通過光學反射原理來檢測識別道路,是一種視覺導航機器人[3]。激光傳感器發(fā)射管發(fā)射一定波長的激光,經地面反射到接收管。由于在黑色和白色道路上反射系數不同,黑色區(qū)域反色回的光線很少,而白色區(qū)域反射回足夠強的光線,接收管接收到的反射光強度不同,使得接收管兩端輸出電壓不同,從而可以將黑白路面區(qū)分開來,使得機器人可以識別貼有黑色引導線的白色道路。
采用電磁傳感器的巡線機器人,能夠識別道路定頻率的磁場。在道路引導線上(漆包線)通上一定頻率的的脈沖信號,導線中有變化的電流流過,從而在道路的周圍產生變化的磁場。電磁傳感器道路識別模塊能夠探測到這個變化的磁場,并將探測到的信號轉化為數字信號。
電源管理模塊為整個系統(tǒng)各個模塊提供所需要的電源,主要包含電機驅動電源、控制計算機供電電源、傳感器驅動電源等模塊??煽康碾娫捶桨甘钦麄€硬件電路穩(wěn)定可靠運行的基礎。在設計電源模塊時標注好各個模塊連接線的功能和名稱,以方便組裝和調試機器人。
巡線機器人實時測量出自己的運行速度,才能實現(xiàn)閉環(huán)控制,達到精確的控制目的。測速傳感器一般可選成本比較低的霍爾傳感器和價格比較高的光電編碼器,霍爾傳感器是根據霍爾效應制作的一種磁場傳感器,價格低廉但一般精度比較低。光電編碼器是一種通過光電轉換將輸出軸上的機械幾何位移量轉換成脈沖或數字量的傳感器,其精度相對比較高,但價格也比較貴。在教學中,可由學生根據實際的精度要求來選定測速傳感器。
舵機用來控制巡線機器人的左右運動方向,直流電機用來驅動巡線機器人,控制前后運動,這兩種電機都可通過PWM脈寬調制信號的占空比來控制,一般的嵌入式計算機都具有輸出PWM脈寬調制信號的功能,所以比較容易得到電機控制信號。巡線機器人的舵機和驅動電機采用經典的PID控制算法。用函數封裝好PWM脈寬調制信號產生代碼和PID控制算法 的基本代碼,學習的學生只要簡單理解算法的思想和和函數參數的意義,便可參與巡線機器人控制程序的編寫。
4、分層教學方法研究
智能機器人的開發(fā)有一定的難度,涉及機械、電子、自動控制、計算機和傳感器等許多專業(yè)知識,一般需要組建跨學科的開發(fā)團隊來進行綜合的開發(fā)。對于不同專業(yè)和學習能力的學生,需要有不同的教學方法因材施教。
通過在計算機基礎、計算機程序設計、嵌入式開發(fā)和智能汽車競賽培訓等課程的教學實踐活動中,研究并總結出分層次教學方案。即在計算機教學中按三個不同層次,引入智能機器人教學的一系列創(chuàng)新性方法:
第一個層次,面向所有專業(yè)的學生,在大學一年級計算機概論課時,講解機器人原理,以及機器人與計算機技術的關系,通過視頻或現(xiàn)場演示機器人,提高學生對學習計算機和機器人等科學研究的興趣。并在相關學生科技活動中,演示原理簡單的巡線機器人,講解開發(fā)原理,激發(fā)學生對計算機技術的學習興趣。由于所面向的學生既有理工科的也有文科的,每個人的知識結構差異非常大,所以教學的重點在于講解機器人與計算機的關系,使得他們了解機器人技術和計算機技術的基本原理。
第二個層次,在計算機程序設計課程中,主要是《C程序設計》與《單片機和嵌入式系統(tǒng)開發(fā)》等課程中,設計一系列機器人編程開發(fā)實驗,學生在實驗課時可選擇一種實驗,體驗開發(fā)機器人的樂趣,加深學生對計算機技術的深入理解和體驗。學生在實驗中有更多和教師交流的機會,學習更加主動,并可以將自己的作品與同學進行交流比較。從而,吸引一批優(yōu)秀的學生加入到機器人開發(fā)的教學和實驗項目中來。
第三個層次,組織學生參加相關的大學生機器人競賽,近年來,機器人競賽的教育價值逐漸得到人們的認可和重視,機器人競賽對學生的科學認識,科學探究以及科學態(tài)度都有積極的影響[4]。目前,已面向全校理工科學生,跨學科組建全國大學生智能汽車競賽團隊,在競賽培訓過程中,組織學生開發(fā)智能車(巡線機器人)的硬件和軟件模塊,提高他們的計算機嵌入式系統(tǒng)開發(fā)能力。這部分優(yōu)秀的學生可以培養(yǎng)成具有扎實的自動化、電子和計算機等項目開發(fā)能力的復合型人才。
5、結束語
本文對在計算機教學中引入智能機器人的教學方法進行了探討和描述,在計算機程序設計課程中,用機器人來展現(xiàn)程序設計的魅力,取得了比較好的教學效果。同時,吸引一大批優(yōu)秀的學生參與到相關項目開發(fā)和競賽中,機器人的制作與競賽涵蓋了電子、計算機、控制、模式識別、傳感技術、電氣及機械等多個學科,對培養(yǎng)學生的綜合工程開發(fā)能力、創(chuàng)新精神、實踐動手能力及團結協(xié)作精神均具有良好的促進作用。本教學項目的研究和實施,為培養(yǎng)有創(chuàng)新能力的復合型人才探索出了一條可行的道路。
參考文獻:
[1] 胡蓮君,宋弘.移動智能機器人避障規(guī)劃研究[J].四川理工學院學報,2008, 21(4):88-89.
[2] 朱孟強,盧博有等.基于ARM的智能機器人小車控制系統(tǒng)設計[J]. 微計算機信息,2008,24(5).
虛擬現(xiàn)實在醫(yī)學上的應用起源于醫(yī)務人員對復雜的三維醫(yī)學解剖體數據的可視化需求,進而發(fā)展到能對可視化的數據進行實時操作,從而建立可供手術和手術前規(guī)劃使用的虛擬環(huán)境。在醫(yī)學手術教學和仿真訓練等方面,虛擬現(xiàn)實技術有著不可替代的和令人鼓舞的應用前景。運用該技術可以使醫(yī)務工作者沉浸于虛擬的場景內,體驗并學習如何應付各種臨床手術的實際情況,可以通過視、聽、觸覺感知并學習各種手術實際操作。這樣大大的節(jié)約了培訓醫(yī)務人員的費用和時間,使非熟練人員實習手術的風險性大大降低,并利用專家學者的手術經驗和實例對年輕醫(yī)生特別是小醫(yī)院、邊遠地區(qū)醫(yī)院的醫(yī)生進行培訓,這對提高醫(yī)學教育與訓練的效率和質量以及改善我國醫(yī)學手術水平發(fā)展不平衡的現(xiàn)狀有著非常重大的意義。
2國內外的現(xiàn)狀及分析
目前與醫(yī)學相關的虛擬現(xiàn)實應用主要包括:手術、內窺鏡檢查和放射外科等。其中,虛擬醫(yī)學手術仿真訓練是一種技術難度較大的應用。與其它虛擬現(xiàn)實應用相比,它的特點是:①虛擬場景復雜;需要產生多層次、多種形態(tài)、相聯(lián)關系復雜的三維虛擬人體組織;②人機交互性強,要求定位和反饋精確度高。當前,國外已經有許多研究機構和商業(yè)公司對醫(yī)學虛擬現(xiàn)實尤其是在虛擬醫(yī)學手術仿真訓練等方面都進行了一定的研究和實踐。如美國達特茅斯醫(yī)學院開發(fā)的“交互式多媒體虛擬現(xiàn)實系統(tǒng)”。對于手術訓練方面處于較前沿的是美國波士頓力學研究中心,他們采用的方式是利用偏振眼鏡觀看場景、虛擬手術器械模擬操作,另外還有加利福尼亞的舊金山大學外科系與伯克利學院的電子工程與計算機科學系對虛擬腹腔手術的研究等項目。在國內,大部分的研究工作集中在對醫(yī)學圖像的三維重建及其可視化等基礎技術方面,清華大學和浙江大學等院校及研究單位在基于計算機圖形學的醫(yī)學圖像三維可視化算法研究領域也取得了較大的成果。
3當前虛擬醫(yī)學手術仿真訓練的技術難點
隨著計算機技術、傳感器技術的飛速發(fā)展,虛擬醫(yī)學手術仿真訓練的研究在模型實時顯示、器官組織紋理的制作、碰撞檢測與定位和觸覺傳感等方面已經取得了一定的進展,并已有個別的成型系統(tǒng)研制成功,但當前虛擬醫(yī)學手術仿真訓練的研究還需解決如下技術難點:①仿真的逼真性較低,主要原因是虛擬人體組織的精確解剖結構和實時顯示算法仍有待改進;②虛擬組織的各種行為模型(如實時形變等)的建立還不夠完善和真實;③多通道感覺的缺乏,目前研究大多集中于視覺虛擬,對其他感覺通道如聽覺、觸覺等較為缺乏,而在醫(yī)學手術中力的反饋是非常重要的;④多種不同來源的三維醫(yī)學影像數據的融合和復雜模型的LOD模型優(yōu)化等技術尚有待發(fā)展;⑤由于西方人種與黃色人種在生理結構上有一定的差異,國外人體模型并不能完全適應我國的需要。因此,目前還沒有適合于我國虛擬手術用的人體模型。
4虛擬醫(yī)學手術仿真訓練的技術實現(xiàn)
4.1醫(yī)學圖像三維重建
4.1.1醫(yī)學圖像可視化對醫(yī)學圖像的三維重建主要是為了實現(xiàn)醫(yī)學圖像可視化。這屬于科學計算可視化的研究范疇,在該領域被稱為三維標量數據場可視化技術。它是虛擬手術技術的實現(xiàn)基礎。目前,三維標量數據場可視化技術主要分為兩類:一類是通過抽取中間面的表面繪制技術;一類是基于體元的體繪制技術。
4•1•1•1通過抽取中間面的表面繪制技術主要包括:基于二維輪廓線的斷層掃描線表面重構和基于單元網格結構的等值面抽取等。
4•1•1•2基于體元的體繪制技術體繪制技術直接基于體元繪制,能顯示對象體豐富的內部細節(jié)。目前實現(xiàn)數據場體繪制主要有兩種策略:直接對三維離散數據場作體繪制;從三維離散數據場重構出連續(xù)數據場,再對連續(xù)數據場進行重采樣并繪制圖像。
4.1.2醫(yī)學圖像分段為了獲得局部的人體組織器官模型,需要將感興趣的區(qū)域從醫(yī)學圖像中分離出來,人們對醫(yī)學圖像的分段技術進行了研究。
4•1•2•1二維圖像的輪廓線技術三維重建的數據源通常是一組一定間隔掃描獲得的二維圖像(如CT圖片),將每張圖片上相同組織的輪廓提取出來,然后將產生的圖片堆疊起來構成三維二進制圖像。最后再采用可視化技術進行三維重建,從而獲得感興趣的組織器官的模型。
4•1•2•2體數據的分段對于體數據的分段,有一個簡單的技術是采用閾值方法,只有光強大于該閾值的像素點才被顯示。而另外一個更通用的方法是采用圖像處理中的邊緣檢測技術(如卷積等)或綜合對數據集進行過濾處理,以獲得所需的分段閾值。
4.2虛擬人體組織器官的物理建模
4.2.1自由體變形方法(FFD)1986年,人們提出了自由體變形方法,該方法的思想是通過變形物體所在的空間而實現(xiàn)物體的變形。其第一步是計算物體頂點在格子中的位置,然后格子在控制點的運動下產生形變。但FFD不能模擬局部的變形。
4.2.2基于物理學的變形模型(physicallybaseddeformation)體現(xiàn)物體在內外力的作用下產生形狀上的變化。其中,外力包括重力、碰撞產生的排斥力等;內力包括彈性力和非彈性力。
4.3虛擬手術器械與虛擬組織器官的碰撞檢測和力反饋手術操作是非常精細的工作,要求較為精確的力反饋。在虛擬手術過程中,碰撞檢測是力反饋、組織變形的前提,因此是非常重要的。而基于bbox的算法由于其計算量小、實時性高的特點,被虛擬現(xiàn)實領域廣泛采用。在虛擬手術操作中,可根據力學的彈性方程用計算機軟件來實現(xiàn)對虛擬手術器械的機電部分的控制,再反饋在虛擬手術器械上。由于人體的手部的觸覺非常敏感所以對于力反饋中的定位精度和曲線力覺變化均有較高的技術要求。需要定位精確的手術傳感器械和比較復雜的彈性模型。
5虛擬現(xiàn)實技術在醫(yī)學手術仿真訓練中的應用虛擬現(xiàn)實技術在醫(yī)學手術仿真訓練領域有著廣泛的應用前景,其具體應用主要有以下幾個方面。
5.1人體解剖結構教學通過虛擬現(xiàn)實技術建立起人體結構模型,可以使學生通過人機交互對人體模型進行瀏覽,在模型內部“漫游”,能讓學生非常直觀、輕松學習解剖結構。
5.2醫(yī)療手術方案和治療效果預測對于病灶,可以在虛擬模型上進行方位的顯示,依據其方位和虛擬系統(tǒng)中的專家?guī)熨Y料,制定手術和治療的方案,或模擬治療的結果,進行評判。
下一波浪潮和AI的未來
今天大家都覺得AI“大風”來了,必須趕快前進不要掉隊。但是如果冷靜想想,AI還是面臨很多挑戰(zhàn)。
研究方面的挑戰(zhàn)更大一些。國務院2017年7月印發(fā)的《新一代人工智能發(fā)展規(guī)劃》提出:我國到2030年人工智能理論、技術與應用總體達到*水平,成為世界主要人工智能創(chuàng)新中心,智能經濟、智能社會取得明顯成效,為躋身創(chuàng)新型國家前列和經濟強國奠定重要基礎。這對研究工作提出了很高的要求。同時,中國工程院也了新一代人工智能發(fā)展報告。新一代人工智能也稱為AI
2.0,我國的人工智能發(fā)展正從AI 1.0向AI 2.0過渡。
AI現(xiàn)在的主要缺陷或者說不足是在機器學習上。深度學習即深度神經網絡是機器學習的一種方法,這種方法確實可以解決很多問題,在實踐中也取得了很大的成功。但深度學習也要發(fā)展。我去美國開會時,馬里蘭大學一位很知名的AI專家調侃說,現(xiàn)在“深度學習有深度而無學習”(Deep Learning——Deep YES,LearningNO)。因為這樣的“學習”嚴格說不是學習,而是訓練,是用大數據在訓練一個數學模型,而不是真的通過學習獲得知識。
目
錄
CONTENTS
目錄
贊譽序言前言
第一章春暖花開——人工智能復興
曠世棋局的幕后英雄002
人機博弈之戰(zhàn)004
AI大潮席卷007
各國政府的應對策略011
第二章酷暑與寒冬——人工智能60年艱難歷程
1956年達特茅斯會議與AI誕生016
初期的繁榮與樂觀019
遭遇計算能力瓶頸021
復興與再度冰凍023
20年寒冬027
第三章杰弗里·欣頓——突破人工智能關鍵技術的人
實習生培訓班的老人030
人工神經網絡道路崎嶇034
寒冬中的堅持036
深度學習登場038
第四章助飛的雙翼——深度學習成功的秘密
不是只要有好算法就能成功042
瘋狂冒險家黃仁勛與GPU 046
“拼命三郎”李飛飛締造ImageNet 050
讓深度學習升華052
第五章數據魔方——數據科學崛起
華爾街數據爭奪戰(zhàn)056
AI眼中的歷史與未來058
造就神奇的數據科學060
來自大數據的挑戰(zhàn)062
異軍突起的數據可視化065
硬幣的另一面067
第六章機器在聆聽——語音識別的歷史性突破
人類的美好夢想與歷史探索070
統(tǒng)計語言學打破沉寂071
劍橋語音的黃金十年073
技術高門檻與壟斷076
深度學習帶來歷史性突破078
廣闊的創(chuàng)新領域080
第七章讓霍金傾談——語音合成創(chuàng)造奇跡
機器制造“完美的保羅”086
語音合成的漫漫長路089
科大訊飛,一名在校生書寫的傳奇090
語音交互大戰(zhàn)打響093
第八章重建巴別塔——機器翻譯拆除語言樊籬
機器翻譯嶄露頭角100
冷戰(zhàn)催生的機器翻譯101
語言的規(guī)則太復雜103
統(tǒng)計翻譯成為主角105
見證歷史的活樣板107
科技巨頭的競技場108
第九章第二雙眼睛——計算機視覺大放異彩
央視節(jié)目引起熱議114
計算機視覺前史115
學科奠基人戴維·馬爾117
走上快車道119
中國力量崛起122
谷歌貓與計算機視覺的未來124
第十章忠實的朋友與助手——形形的機器人
美的收購“德國國寶”128
機器人的前世今生130
現(xiàn)代制造業(yè)與工業(yè)機器人132
服務機器人大合唱134
巨大的沖擊波139
第十一章飛翔的機器——無人機的廣闊天地
無人機“黑飛”事件142
漫長發(fā)展史143
汪滔與大疆145
給“硅谷狂人”上了一課148
廣闊的應用領域149
微小型化與集群應用152
無人機的未來154
第十二章智能交通革命——自動駕駛的夢想與現(xiàn)實
收購狂潮158自動駕駛概念與無人車的歷史159
伊拉克戰(zhàn)場引發(fā)的無人車挑戰(zhàn)賽161
民用研究趁勢而上162
“狂人”馬斯克來了165
不同的聲音——無人駕駛還需60年168
無人車暢想曲170
第十三章無形機器人——無處不在的虛擬機器人
一場官司的背后172
什么是Bot 174
Bot今昔175
創(chuàng)業(yè)的新機會177
虛擬機器人大顯神通179
未來的競爭利器180
第十四章終身學習時代來臨——人工智能塑造新人生
教育史上的“一場數字海嘯”186
機器人給考試評分190
高考機器人亮相192
AI帶來個性化教育193
超越大學,終身學習196
第十五章電腦神醫(yī)——精準醫(yī)學帶來的福音
AI挑戰(zhàn)醫(yī)生200
破解醫(yī)學影像處理難題202
手術機器人205
精準醫(yī)學應運而生208
新藥研制走上新路210
時刻不離的遠程AI醫(yī)生212
第十六章二十三條軍規(guī)——對人工智能者的回答
烏鎮(zhèn)內外216
AI為什么是錯的219
今天的AI可能還處于胚胎階段221
樂觀的信號出現(xiàn)223
未雨綢繆的“二十三條軍規(guī)”225
第十七章美麗新世界——AI的未來
AI 2.0新篇章230
通用AI的追求231
深度學習的未來232
挑戰(zhàn)摩爾定律234
向人腦學習237
人類的新征程240
第十八章中國傳奇正在書寫
AI名人堂里來了中國人244
244國際學術會議因春節(jié)改期246
246美國媒體關注中國AI 247
247開放環(huán)境創(chuàng)造雙贏249
249美國政府的新?lián)鷳n251
創(chuàng)業(yè)大潮風起云涌252
宏偉的國家AI發(fā)展藍圖255