沉浸式學習促進教育發展:轉變UI- 用今天的技術設計明天的交互界面

隨著英特爾 實感 技術對交互式學習增強，真實和虛擬世界之間的區別消失

作者：John Tyrrell

了解更多有關英特爾實感技術，請點擊：https://software.intel.com/zh-cn/

觸摸和手勢控制、圖片識別和增強現實 (AR) 融入各式各樣的教育應用和玩具，將虛擬和現實世界交融在一起，創造出即使成年人也難以理解的世界。 英特爾 實感 技術等日益開放和復雜的技術正在推動這些變化，而且隨著設備不斷推出新特性，界限變得越來越模糊。 結果創造了一個新型的娛樂和學習世界，其中虛擬和現實的區別越來越模糊。

3D4Medical、PlayTales 和 Scholastic 是首批嘗試在教育和學習領域部署英特爾實感技術的開發團隊。 他們與英特爾密切合作，探索技術潛力并克服技術障礙，其即將推出的應用和產品將為兒童和成年人同時帶來新一輪交互式創新。

感知治療

交互式學習不僅適用于面向兒童的交互式應用，還適用于許多其他應用。 總部位于愛爾蘭的 3D4Medical 開發了跨解剖、健康和健身以及醫療參考等平臺的應用。 3D4Medical Essential Anatomy* （圖 1）已經過四代更新，目前是 Windows*、Android* 和 iOS* 中最暢銷的醫學應用。

圖 1： Essential Anatomy 截圖

該團隊目前正在努力利用英特爾實感技術的優勢，以滿足醫療空間內使用的應用的嚴格需求。 3D4Medical 軟件開發部門經理 Sergey Bushtyrkov 選擇使用帶有 Unity 插件的英特爾 實感 SDK，以便更輕松地實現在虛擬空間為肢體建模的預期結果。

Bushtyrkov 解釋：“英特爾 實感 3D 攝像頭和英特爾實感 SDK 可提供信息以創建您所需的最終的商業應用，而不只是數據。 我們需要一個 3D 引擎創建具有吸引力的模型，因此我們使用 Unity 創建了一個環境來操作雙手。”

繪制人體四肢和關節的精細程度在醫療環境中具有非常重要的意義。 Bushtyrkov 目前正在集中開發自動精確映射手部的特性，其功能將遠超過多數由手勢來控制的應用。 Bushtyrkov 表示：“攝像頭可以捕獲手部特定的點，并對其進行數字化處理。 該數據流包括手部每個點（共 22 個點）的坐標和旋轉角度（圖 2）。”

圖 2：  英特爾實感 3D 攝像頭追蹤的手部點

將原始數據轉化為精確建模的虛擬手部是一個復雜的過程，它要求團隊特別注意醫療應用所需的細節。 Bushtyrkov 表示：“我們創建人手的定性模型，將其與我們從英特爾實感 3D 攝像頭獲取的信息進行整合，使其活動并對其進行調整，極大推動了技術的發展。

Bushtyrkov 繼續表示：“我們嘗試應用到手部的數據準確性極具挑戰性。 借助英特爾，我們解決了這一挑戰，我們使用 Unity 引擎插入手部動畫。”

3D4Medical 團隊長期以來一直使用英特爾實感技術，確保一直使用最前沿的新興技術來執行基本任務。 3D4Medical 業務發展部門副總裁 Niall Johnston 強調：“從我們合作的企業來看，我們在許多領域都保持技術領先。我們在早期開發階段便采用了該技術，這于我們而言是一個寶貴的機會，因為我們可以研究能夠使用它做什么。”

講故事

總部位于西班牙的 PlayTales 早在 2012 年便開始在 Apple App Store 上出售交互式書籍，并很快成為市場領頭羊。 該企業在全球各大知名品牌（包括加菲貓*、芝麻街* 和小王子）與自己的品牌 My New Baby* 的基礎上開發了多款產品。 PlayTales 門店采用七種語言推出了 200 多種出版物，成為想購買交互式故事書的全球親子的首選之地。

該團隊積極倡導在其即將推出的 Wizard of Oz* 交互式立體書及其教育科學應用 Professor Garfield* 中使用英特爾實感技術（圖 3）。 PlayTales 的首席執行官 Enrique Tapias 表示：“我們了解到英特爾的新技術后，覺得必須研究一下從體驗、3D 顯卡和交互方面能夠為客戶做哪些改進。”

圖 3： 兒童用手在Professor Garfield 應用中操作蝴蝶

雖然英特爾實感技術還處于預發布階段，PlayTales 獲得的不僅是在產品中部署一項新技術， 還是一次與技術領先企業合作的機會。 PlayTales 的首席技術官 Pablo Benitez 表示：“在部署應用的過程中，英特爾同時開發了英特爾實感 SDK。 我們需要適應這一點。 好的一面是，我們可以第一手測試新特性。我們親眼看到應用和 SDK 不斷發展，提供出許多能夠幫助我們增強交互的酷炫特性。 我們非常喜歡輪廓模式功能，因為它能夠追蹤距離攝像頭最近的對象的輪廓。 我們利用該功能將用戶的手部轉換為游戲中的  3D 模型，繪制出一個手部形象。 借助它，用戶可以使用自己的手繪制一個桶的形狀接水，或用手指指引蝴蝶。”

行為變化

采用英特爾實感技術為 PlayTales 帶來諸多顯著優勢。 Tapias 表示：“我們提前采用數年之后才會上市的技術， 這對我們非常重要。” Benitez 繼續表示：“我們還提前了解了兒童的體驗。 我們進行了自己的可用性測試，現在，英特爾焦點小組對我們的內容及英特爾實感技術的部署進行了測試，也為我們提供了諸多幫助。  在測試 Wizard of Oz 和 Professor Garfield 過程中，我們注意到，兒童在全新的 3D 世界中進行交互時，無法理解深奧的概念。 而且，他們總是離開攝像頭的視野。 因此，我們部署了分步指導、教程和提示，以教授他們能夠移動到哪里以及如何做。”

隨著客戶及其預期快速發展，PlayTales 利用這些洞察引領目前和未來的產品。 Tapias 表示：“孩子的行為變化非常快，這主要由于其獲得的技術和設備所導致。 我認為，借助英特爾實感技術，孩子們將有更多選擇。 孩子們不僅能夠學習或閱讀，還能夠與內容交互，比如，在 Professor Garfield 中引導蝴蝶的移動。”

Tapias 及其團隊認為英特爾實感技術帶來的全新交互方式具有極大的潛力，同時認為需要細心控制每一項部署，向高標準完善，并根據不同的環境（學習或娛樂）進行調整。 對于 Tapias，前景無疑是樂觀的： “英特爾實感技術絕對是未來幾年內最重要的技術之一，它不僅適用于計算機和平板電腦，還適用于兒童使用的設備，如平板電腦和智能手機。”

神奇的 Scholastic

Scholastic 在兒童娛樂領域享有很高的聲譽，其產品包括跨多平臺的書籍、艾美獎獲獎電視作品、視頻游戲和交互式學習產品等。 Scholastic Media 數字產品部門主管 Jennifer Contrucci 表示：“我們將品牌主題和人物與技術相結合來生產內容。 我們使用技術是因為它能夠帶來很好的效果，而不是一種附加特性。”

該公司的許多品牌已經成為構成美國及其他國家兒童文化的一部分，包括 Clifford the Big Red Dog* 和 Magic School Bus*。 目前，該公司在 I Spy* 品牌中采用了英特爾實感技術，該品牌最初創建于 1992 年，是一系列兒童書籍，現在成為了交互式世界。

圖 4：  I Spy Pirate Ship 截圖

I Spy Pirate Ship* （圖 4） 是該品牌的新增內容，專門針對便攜式一體機和 2 合 1 電腦設計。 Contrucci 表示：“該款應用采用了英特爾實感 SDK 中的許多特性，包括手勢、手部張開-握住檢測以及面部點追蹤等。 您可以在游戲中感受到各種感知功能。”

兒童和攝像頭

I Spy Pirate Ship 的一個活動是通過烏鴉巢穴中的望遠鏡尋找星體上躲藏的物體（圖 5）。 當部署英特爾實感技術，以便追蹤用戶掃視天空時頭部的運動情況時，該團隊遇到了一些有趣的挑戰。

圖 5： I Spy Pirate Ship 的望遠鏡視圖

Contrucci 解釋：“因為孩子的運動不平穩且不受控制，所以我們無法在他們觀看時持續檢測到他們的方向。 我們將編程更改為點追蹤。 現在，游戲將會尋找面部的特定點，比如鼻尖，結果證明非常有效。”

當用戶發現一個物品時，將會停住來通知程序，這一看似簡單的交互，為受眾帶來出色的體驗。 Contrucci 表示：“結果證明，這對于孩子們來講是一個神奇的體驗，因為他們感覺自己真正處在烏鴉巢穴環境中，他們實際做的事情非常重要。”

對于 Contrucci，當用戶面部停在特定位置時應用能夠識別的能力具有很大的未來潛力。 她繼續表示：“我們能夠看到這種功能可以產生許多其他應用。 比如，如果一個幼兒正在看 eBook*，她在一張獅子圖片上停住，這時候非常適合做出反應，提供動物的名稱及描述。 這能夠為幼兒提供“適時”的幫助。”

社交學習

對于交互性在教育過程中是否能夠帶來真正的優勢的問題，英特爾游戲和教育產品經理 Ornit Gross 表示毋庸置疑。 “當提供活靈活現、沉浸式和有趣的教育材料時，能夠幫助記憶， 幫助學習。”

Ornit 繼續表示：“當初入該領域時，我們發現，許多因素可以共同作用，提供有效的學習體驗。 其中之一是交互性 — 無論是與教師、朋友還是應用交互，只有交互才能夠加深學習過程。”

雖然英特爾實感技術代表了一流的交互性技術，但是它只是其中一個因素。 Ornit 表示：“另一個因素是社交。 您不是自己學習，而是在一個團隊中學習。 這是我們認為可以繼續改進的部分，我們期待在下一代中看到這一改進。 主要是讓兒童感受一對多而非一對一的體驗，讓他們認為自己在和朋友一起學習。”

全面支持

同時，英特爾實感技術從根本上對開發團隊（最終對最終用戶）與電腦和移動設備的交互帶來突發式的轉變，為其帶來巨大價值。 Ornit 及其團隊對挑戰的渴望為其贏得豐厚的獎勵。 “令我感到驚喜的是，開發人員了解到英特爾實感 SDK 能夠同時適用于低級別數據和高級別數據后，他們隨即利用所有的 SDK API 編寫了自己的交互方式。 例如，SDK 能夠追蹤整個面部的 78 個特征，并可檢測睜眼/閉眼和張嘴等面部表情。 開發人員將這些功能全部結合在一起，以便 SDK 能夠發現用戶做鬼臉。 再如手勢識別。 英特爾實感  SDK 可追蹤 22 個手部關節點和捏合手勢；一位開發人員將這些 SDK API 進行整合，能夠識別一種特殊的捏合手勢，這種手勢專為游戲的主要角色而設計。”

如英特爾所知，技術只是開始。 內容才是最重要的。 Contrucci 總結了 Scholastic 探索英特爾實感技術可能性的動機： “許多人認為，手勢控制將是未來的一大浪潮，因為其帶來的潛力不僅是兒童交互所需要的，而是自然操作所需要的。 當我們使用 I Spy Pirate Ship 來測試兒童的自然交互特征時，這對于他們而言是一個全新的體驗， 非常令人興奮。”

了解更多有關英特爾實感技術，請點擊：https://software.intel.com/zh-cn/