如何用HoloLens和Kinect構建遠程呈現

本篇文章給大家分享的是有關如何用HoloLens和Kinect構建遠程呈現，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

    前天參加微軟混合現實解決方案交流會時，看到有用Hololens來進行肢體跟蹤。但是我們都知道第一代Hololens本身只能識別手部幾個姿勢，所以需要另外搭配其他設備一起來實現這個功能。回來后我也在網上查閱了一些資料，我將分享如何用Hololens和Kinect來構建遠程呈現。

1、外部攝像頭和網絡連接

HoloLens配有內置攝像頭。但為了創建遠程呈現應用，需要一臺能夠面對攝像頭并進行拍，也就是需要使用外置攝像頭。使用Kinect2作為外置攝像頭，Kinect2是微軟公司于2014年10月開始在中國銷售第二代Kinect for Windows感應器，Kinect2特點：
彩色攝像頭為1920*1080， 
深度攝像頭為512*424， 
可以同時檢測到6名用戶的姿勢 
可以檢測到人體25個關節點 
檢測范圍為0.5m-4.5m 
角度（水平70° 垂直60°） 
kinect2可以獲取更多用戶姿勢，以及用戶更多關節點，檢測范圍更加廣泛，角度也是更加寬闊，為用戶帶來全新的體驗感。因為它可以廣泛使用，功能非常強大，并且可以很好地適用于Unity。

HoloLens不允許第三方硬件插入USB端口，因此需要某種網絡層來促進設備間通信。使用HoloToolkit的共享服務（Sharing Service），因為在Unity IDE中有一個用于啟動服務的下拉菜單，如圖所示。

2、HoloLens-Kinect項目介紹

現在許多遠程呈現HoloLens應用都是基于Michelle Ma的開源HoloLens-Kinect項目來進一步開發的，地址：https://github.com/michell3/Hololens-Kinect。這個項目將兩個庫（用于Kinect的Unity Pro插件包與HoloToolkit共享服務）粘合在一起，并使用它們來解決問題。

雖然Unity的Kinect插件在UWP中不起作用（Kinect無論如何都不能插入HoloLens設備中），但它仍然可以在部署到Windows或在IDE中運行時運行（在這種情況下，它使用 .NET 3.5框架而不是.NET Core框架）。關鍵就是在Windows中運行Kinect集成，然后通過無線網絡將消息發送給HoloLens，使Kinect和Hololens一起工作。

在網絡方面，HoloToolkit的共享服務主要用于在不同設備之間同步世界錨。 它還要求在PC上實例化服務，以充當不同設備之間的通信總線。但是，共享服務不必按這樣使用。由于該服務已在PC上運行，因此它也可用于PC與單個HoloLens設備之間的通信。此外，它可以用來發送不僅僅是世界的錨，它還可以發送任何類型的原始值，例如，Kinect的位置。

3、使用HoloLens-Kinect項目二次開發

使用Michelle Ma的代碼，需要兩個獨立的Unity項目：一個用于在臺式PC上運行，另一個用于在HoloLens上運行。把Kinect插件包添加到桌面應用程序中。從HoloToolkit中將共享預制件添加到兩個項目中。在為HoloLens設計的應用程序中，將機器的IP地址添加到共享階段組件的服務器地址字段中。

這兩個應用程序大致相同。在PC端，應用程序從Kinect獲取正文流并將聯合數據發送到名為BodyView.cs腳本上。BodyView在識別出一個新的物體時會為每個關節創建球體，然后在Kinect更新時重新定位這些關節。

另一個名為BodySender.cs的腳本會接受此數據并將其發送到共享服務。在HoloLens設備上，一個名為BodyReceiver.cs的腳本獲取了接收到關節數據并將其傳遞給它自己的BodyView類實例，該類實例化了由球體基元組成的點組。

用于共享服務以傳輸Kinect數據的代碼包含在Michelle Ma的CustomMessages2類中，它實際上只是HoloToolkit共享示例中的CustomMessages類的直接副本，稍作修改即可發送和接收聯合數據。

4、用Kinect來擴展Holoens手勢

Kinect非常擅長手勢識別。HoloLens目前支持數量有限的手勢，受到內外攝像頭能看到的東西的限制，主要是手指。但是可以使用上面的Kinect-HoloLens集成來擴展HoloLens的手勢組合，以包含用戶的整個身體。

以上就是如何用HoloLens和Kinect構建遠程呈現，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。