爲了支持機電系統的多人協同操作以及操作人員更快更好更全面地熟悉實際機電裝備，基於虛擬現實的機電仿真技術，建立三維模擬結構的虛擬現實場景，並與姿態捕捉系統、頭戴顯示器等虛擬現實設備連接，實現不同視角觀測設備的運行狀況、相對位置關系、模擬隨動跟蹤監視與實景漫遊等多種交互式操作。作爲納斯達克上市企業“微美全息US.WIMI”旗下研究機構“微美全息科學院”的科學家們基於虛擬現實的機電作業仿真系統的研究和實現方法進行介紹。

1 概述

基於虛擬現實的機電系統仿真主要通過虛擬現實技術、智能穿戴技術和分布式計算機仿真技術，實現系統的全流程交互式仿真分析和沉浸式實景仿真作業模擬。系統按真實場景的實際尺寸構建虛擬模型，在設計开發階段可以作爲驗證設備結構、布局、控制流程等是否合理的重要工具，對設備的適應性研究提供設計依據。系統支持多人協同操作，可爲操作人員全面熟悉實際裝備的功能、結構和組成，快速掌握裝備操作、維護、保養及應急安全處理方法，提供重要的技術支撐，是在裝備制造完成後作爲輔助培訓和模擬操作訓練的重要裝備。

2 硬件系統的設計方案

姿態捕捉控制設備中包括動作捕捉設備、數據手柄和數據手套。人機交互接口與服務器具體的連接形式見圖1。

圖1人機交互接口與服務器連接示意圖

3 軟件方案

3.1 軟件總體結構

軟件主要實現對三維模型的驅動、實際工況的模擬、場景視角的切換、遠程通信、捕捉設備數據收集與人物模型驅動等功能，包括作業模擬仿真軟件、人機交互接口軟件、模型計算和接口控制軟件以及控制模擬軟件。人機交互接口主要負責獲取人物動作、手部關節、姿態信息，驅動人物模型並實時渲染場景到相應的顯示設備；作業模擬仿真軟件負責完成對模擬操作的響應、三維模型的驅動及實際工況的模擬；模型計算和接口控制軟件負責完成對作業模擬仿真軟件、控制模擬軟件發送的數據進行

分析、處理，並傳遞給相應的接收端；控制模擬軟件能夠接收操作人員的面板控制輸入指令，並相應地控制整個三維場景和模型的作業流程，同時正確顯示系統中的各項狀態參數。

3.2 作業模擬仿真軟件

3.2.1 作業模擬仿真軟件系統的總體結構

基於虛擬現實的機電系統仿真建立在 Unity3D 平台基礎上，輔以 C# 語言編寫的腳本程序，實現模型的驅動、物理效果的計算、動畫渲染、人機接口控制、通信和動作響應。接口控制軟件實時接收輸入指令和運動控制參數，並將其發送至數字仿真計算程序。數字仿真計算程序通過對輸入指令和運動控制參數進行處理，調用其對應的三維模型和數字模型，在物理引擎的輔助下，實現模型碰撞、鉸接、受力等模擬物理效果，實時計算出該模型的各項參數如速度、方向等，並將這些物理狀態參數發送至虛擬現實仿真子系統中。虛擬現實仿真子系統根據各模型對應的狀態參數，對三維模型進行渲染和顯示，並將模型反饋參數發送到數字仿真計算程序中，經數字仿真計算程序處理後，將狀態信息（位置、速度等）發送至通信接口控制服務器軟件。圖 2 爲虛擬現實仿真軟件系統總體結構。

圖2作業模擬仿真軟件系統的總體結構

3.2.2 三維模型和數字模型

基於虛擬現實的機電系統仿真內部存有各個子系統的三維模型和數字模型。三維模型是按照實物模型 1:1 比例構建，外觀與實物模型保持一致。數字模型是在三維模型的基礎上，添加相應的物理特性，如剛體、關節、碰撞體以及材質等。數字仿真計算程序根據不同的控制指令，分別調用不同的三維模型及相應的數字模型，在初始階段初始化數字模型的狀態值及標志位。系統啓動後，按照幀率時間間隔逐幀掃描控制標志位，在虛擬現實仿真子系統中更新設備運行工況，按照固定物理時間間隔進行物理計算，並刷新設備物理狀態。

3.3 人機交互接口

通過在 Unity 中建立三維模擬結構的虛擬現實場景，並與姿態捕捉系統、數據手套、頭戴顯示器及數據手柄等人機交互設備連接，工程人員可以沉浸到虛擬現實場景，實現對設備的交互式操作，與三維模擬結構的虛擬現實場景進行沉浸式交互。系統如圖 3 所示。

圖3 人機交互接口系統圖

姿態捕捉系統主要用於捕捉人體軀幹、手腳等主要關節的運動過程。以姿態捕捉系統爲基礎，實現人員在模擬設備場景中的行走和運動。人物動作、姿態數據的收集通過PerceptionAxis 捕捉軟件實現，並通過傳輸控制協議 / 網際 協 議（Transmission Control Protocol/Internet Protocol，TCP/IP）與 Unity 軟件進行數據通信，在 Unity 軟件中對人物動作、姿態數據進行修正，得出各關節的位置和旋轉信息，進而驅動人體模型。具體過程如圖 4 所示。

圖4人物模型驅動程序結構圖

數據手套用於較爲精確地捕捉人手部和手指關節的運動過程，從而實現在模擬設備場景中較爲精細的操作。通過手套上的傳感器獲取手指彎曲角度，採用 C++ 編寫通信程序，與本地 Unity 軟件進行通信。隨後在 Unity 軟件中完成數據修正，並實時驅動人物手部運動。通過數據手柄可以實現對虛擬設備和虛擬人體的運動控制，主要用於操作驗證、空間和布局分析等。

數據手柄在 Unity 軟件中有專用的接口，可在程序中編寫控制程序定義手柄按鈕的功能，實現人物的大範圍移動和視角的切換。頭戴顯示器通過官方提供的开發包實現與 Unity3D 軟件之間的連接，在頭戴顯示器中設置雙攝像機模擬人眼雙目視覺，並在 Unity 軟件中設置相應參數，從而完成沉浸式人機交互。

通過姿態捕捉設備、手套和頭戴顯示器，操作人員可實現虛擬人物在虛擬場景中的交互。交互技術的實現主要通過碰撞檢測、觸發器碰撞檢測以及邏輯處理算法實現。人機交互實際操作過程中，由於物理引擎和外部人物捕捉之間的衝突，會出現虛擬場景中人物穿越虛擬物體的現象。

考慮到實際過程中的合理性與可靠性，將對其進行以下處理。首先，虛擬場景中人物即將穿越物體時，屏幕中將會出現違法操作提示，提示過程不符合實際。其次，虛擬場景中人物已穿越物體時，人物捕捉系統將停止工作，人物模型靜止。最後，虛擬場景中人物將要離开物體時，判斷其距離符合條件時，即可恢復人物捕捉，驅動人物模型。

4 結語

本系統的設計方案實現了機電系統的全流程交互式仿真分析和沉浸式實景仿真作業模擬，在產品的設計开發階段可以作爲驗證設備結構、布局、控制流程等是否合理的重要工具，爲設備的適應性研究提供設計依據，爲操作人員全面熟悉實際裝備的功能、結構和組成及快速掌握裝備操作、維護、保養和應急安全處理方法提供重要的技術支撐，同時可在裝備制造完成後用於輔助培訓和模擬操作訓練。

微美全息科學院成立於2020年8月，致力於全息AI視覺探索科技未知，以人類愿景爲驅動力，开展基礎科學和創新性技術研究。全息科學創新中心致力於全息AI視覺探索科技未知, 吸引、集聚、整合全球相關資源和優勢力量，推進以科技創新爲核心的全面創新，开展基礎科學和創新性技術研究。微美全息科學院計劃在以下範疇拓展對未來世界的科學研究：

一、全息計算科學：腦機全息計算、量子全息計算、光電全息計算、中微子全息計算、生物全息計算、磁浮全息計算

二、全息通信科學：腦機全息通信、量子全息通信、暗物質全息通信、真空全息通信、光電全息通信、磁浮全息通信

三、微集成科學：腦機微集成、中微子微集成、生物微集成、光電微集成、量子微集成、磁浮微集成

四、全息雲科學：腦機全息雲、量子全息雲、光電全息雲

以下是微美全息科學院的部分科學家成員：

郭松睿，湖南大學計算機科學技術工學博士，曾在中科院科學計算國家重點實驗室 合現實技術研修班 學習混合現實，增強現實技術，參與研發多個重點項目。

江濤，中國科學院沈陽自動化研究所博士，機器人學國家重點實驗室，研究方向爲微型仿生飛行器的氣動/結構設計、控制與系統开發，在2018年獲得 ICRCA-2018 機器人 EI 國際會議"最佳論文獎"。

楊軍超，重慶郵電大學通信與信息工程學院信息與通信工程專業博士研究生，華盛頓大學電子工程學院聯合培養博士，長期研究虛擬現實、5G多媒體傳輸優化、基於MEC的智能轉碼優化，以第一作者發表SCI/EI 論文 6 篇，中文核心 1 篇，申請專利 4 項。

李維娜 ，2017 年博士畢業於韓國忠北國立大學的信息和通信工程學院。2017 年 8 月去了新加坡的 Singapore-MIT Alliance for research and technology centre(SMART)從事壓縮全息（compressive digital holography）的博士後工作，2018 年 11 月進入清華大學深圳國際研究生院的先進制造學部，在以前工作的基礎上把數字全息（digital holography）拓展到機器學習（machinelearning）領域，特別是對 U 型網絡（U-net）的改進和應用。在上述研究領域以第一作者發表高水平論文 5 篇，以第二作者發表的高水平論文2 篇。

曲曉峰，香港理工大學博士，現任清華大學深圳研究生院博士後，主要研究生物特徵識別、機器視覺、模式識別，與綠米聯創合作進行嵌入式產品算法、深度學習應用、圖像與視頻相關算法以及生物特徵識別相關產品的开發。

危昔均，香港理工大學康復治療科學系博士，南方醫科大學深圳醫院虛擬現實康復實驗室負責人，主要研究基於虛擬現實技術的康復系統搭建及相關臨牀和基礎研究。

單羽，昆士蘭科技大學數字媒體研究中心（澳大利亞）博士，研究方向爲虛擬現實娛樂產業與亞洲創意經濟，曾參加多場虛擬現實產業的國際學術會議並發表主題演講，發表多篇以“虛擬現實藝術”相關的學術論文，並參與國內多個虛擬現實娛樂產業領域的項目研究。

劉超，新加坡南洋理工大學博士，是深圳市南山區領航人才，深圳市海外高層次人才孔雀計劃C類, Molecular Physics 2011年度最佳年輕作者提名，主要研究方向爲人工智能預測過渡金屬氫化物金屬氫鍵鍵長與解離能和環式加成反應中量子力學/分子力學反應機理研究，曾參與過流程模擬軟件的开發與研究。

張婷，美國西北大學博士後，香港大學博士，海外高層次人才孔雀計劃C類，主要從事VR/MR關鍵技術研發應用和復雜服務系統優化等研究，發表全息專利5項。獲全國＂挑战杯＂創業計劃大賽 湖北省一等獎，華中科技大學一等獎。

姚衛，湖南大學計算機科學與技術工學博士，主要研究方向：憶阻神經網絡及其動力學行爲，應用於：圖像處理、安全通信。基於VDCCTA具有長時記憶特性的憶阻器電路及其構成的神經網絡。參與設計基於憶阻器的神經網絡系統模型。基於憶阻器的仿生物神經元和突觸連接的微電子電路設計，參與基於憶阻器的神經網絡系統模型的設計與動力學行爲的分析。

彭華軍，博士，畢業於香港科技大學顯示技術研究中心（CDR），從事硅基液晶器件、AMOLED材料與器件、TFT器件、顯示光學等研發工作。彭博士一直從事信息顯示領域前沿工作，涵蓋電視圖像色彩管理、AMOLED生產制造、微顯示芯片設計與制造、投影與近眼顯示光學等。彭博士在國際刊物上發表20篇文章。已申請近50項中國發明和美國發明專利，其中10項美國專利和20項中國發明專利獲得授權。

陳能軍，中國人民大學經濟學博士、上海交通大學應用經濟學博士後，廣東省金融創新研究會副祕書長、廣東省國際服務貿易學會理事。主要從事文化科技和產業經濟的研究，近年來在版權產業領域研究方面有較好的建樹。近年來先後主持、主研“5G時代的數字創意產業：全球價值鏈重構和中國路徑”“深圳加快人工智能產業發展研究”“貿易強國視角下中國版權貿易發展战略研究”，“文化科技融合研究：基於版權交易與金融支持的雙重視角”等省部級課題多項，並在《商業研究》《中國流通經濟》《中國文化產業評論》等核心期刊發表論文多篇。

潘劍飛，香港理工大學博士學位，現爲廣東省高校“千百十工程”人才，深圳市海外高層次人才，深圳市高層次人才、深圳大學優秀學者。研究領域主要爲自動化+VR 應用、先進數字化制造、 數字制造全息孿生工廠、機器人等。主持多項國家自然科學基金項目、廣東省科技計劃項目和廣東省自然科學基金項目。

杜璵璠，北京交通大學光學工程博士，取得與顯示產品相關專利20余項，發表期刊文章3篇，曾打造全球最高分辨率的8K*4K 的VR產品，並提出了採用光場顯示技術，解決VR輻輳衝突問題；推出首款國產化率100%的單目AR眼鏡，第一次聯合提出基於未來空間信息的非接觸式交互的操作系統概念（System On Display），在運營商體系進行虛擬現實數字產業合作。

伍朝志，深圳大學光機電工程與應用專業博士，研究方向主要爲精密/微細電解加工，發表過多篇期刊論文和會議論文，獲得三項相關專利，曾參與國家重點研發計劃 、國家自然科學基金重大研究計劃重點項目等。

微美全息科學院旨在促進計算機科學和全息、量子計算等相關領域面向實際行業場景和未來世界的前沿研究。建立產研合作平台，促進重大科技創新應用，打造產業、研究中心深度融合的生態圈。微美全息科學院秉承“讓有人的地方就有科技”爲使命，專注未來世界的全息科學研究，爲全球人類科技進步添磚加瓦。

微美全息成立於2015年，納斯達克股票代碼：WiMi。

微美全息專注於全息雲服務，主要聚集在車載AR全息HUD、3D全息脈衝LiDAR、頭戴光場全息設備、全息半導體、全息雲軟件、全息汽車導航、元宇宙全息AR/VR設備、元宇宙全息雲軟件等專業領域,覆蓋從全息車載AR技術、3D全息脈衝LiDAR技術、全息視覺半導體技術、全息軟件开發、全息AR虛擬廣告技術、全息AR虛擬娛樂技術、全息ARSDK支付、互動全息虛擬通訊、元宇宙全息AR技術，元宇宙虛擬雲服務等全息AR技術的多個環節，是一家全息雲綜合技術方案提供商。

• 納斯達克(NDAQ)
• 微美全息(WIMI)

本文作者可以追加內容哦 !