在實踐中進行用戶測試和評估

2019工業信息安全技能大賽個人線上賽第一場圓滿收官。在保障競賽平臺成功穩定運行的同時，更多的還是思考競賽平臺在本次支撐過程中的用戶體驗，用戶測試與評估情況。作為專業為工業信息安全打造的人才測評選拔和競賽平臺，實際的競賽活動就是檢驗和測試產品最好的試金石，也是用戶測試環節的最佳測試環境。
在產品設計與優化過程中，產品用戶測試與評估環節是指請符合測試要求的目標用戶來完成一些特定或具有代表性的任務，觀察并記錄用戶使用產品的整個過程，包括用戶使用的順暢程度和情緒等多個方面。測試過程不是應對用戶的不滿和要求，而是通過觀察用戶的行為操作及情緒等方面來把握用戶的實際使用情況。用戶測試有時也會稱為產品可用性測試，可用性測試的定義是“特定用戶在特定的使用場景下，為了達到特定的目標而使用某產品時，所感受到的有效性、頻率及滿意度”。用戶測試也作為競品分析和市場調研的方法，我們會經常性的使用用戶測試的方法對其他廠商的產品進行評測，為自身產品的設計提供參考。
對于目前市面上存在的網絡安全競賽平臺而言，用戶使用情境和目標就是支撐網絡安全賽題展示交互與賽題答案提交，并為選手輸出可定量和定性的評估結果。滿足了這樣的前提，我們才能使用有效性、效率及滿意度等這些標準來對其進行評價。競賽平臺經過在我們典型的可用性實驗室及產品測試團隊的可用性測試的基礎上，經歷了2018工業信息安全技能大賽多個場次的用戶使用測試，在產品的可用性上，已經具備了提供網絡安全賽題展示交互與賽題答案提交并提供定量和定性評估結果的目標和功能，即產品已經具備了可用性。
在2019工業信息安全技能大賽的支撐上，我們對競賽平臺后續需要的可用性測試目標進行了進一步梳理，即在2019工業信息安全技能大賽過程中，我們的產品團隊對競賽平臺的可用性測試的測試目標是什么？也就是我們做可用性測試到底要測那些內容，想知道些什么信息？根據標準的可用性測試方法及流程，一般來講可用性測試主要分為三大內容：
第一：首先是有效性。是否有效就是說用戶是否能達成自己的目標，比如網絡安全競賽，有效性就是用戶能夠進行賽題交互、提交答案并輸出定量和定性結果，如果提交不了答案就是有效性出了問題，那這個競賽平臺就沒有存在的價值了。所以有效性問題就是首要的必須要解決的問題。
第二：效率。效率就是用戶不用做無用功，能以最快路徑達成目標，仍然以網絡安全競賽為例，如果用戶在競賽過程中需要反復操作很多次才能完成任務，那就存著效率問題了，嚴重的效率問題就是有效性問題。
第三：滿意度。滿意度是在有效性和效率兩方面都沒有大問題的情況下，有沒有給我們的用戶帶來不愉悅的體驗，這就可能涉及到很多方面很多細節，比如用戶注冊的時候會不會要求輸入過多的信息，或者系統反應及不及時等這種問題。
基于這三個基本要素的標準可用性內容，我們競賽平臺的可用性測試需要在有效性、效率及滿意度上繼續深挖，以比賽作為契機，競賽用戶選手作為測試評估的主體，它基于真實的用戶數據進行評價，相對客觀，擁有較強的說服力。用戶測試的目的是發現問題，改善我們的設計，挖掘潛在的需求。其測試評估價值巨大：
第一，它能夠挖掘潛在的需求。挖掘潛在需求是根本，決定了產品的發展方向；
第二，發現并解決產品存在的問題。發現需要解決的問題，包括界面框架邏輯結構交互等等是否合理，用戶體驗是否良好；
第三，降低產品周期成本。邊做邊測試評估，通過快速迭代降低交互設計的周期成本，或者對產品迭代提供良好的參考意見；
第四，增強設計說服力。用戶測試可以用鮮活的案例，鮮活的數據等增強設計的說服力。
我們在競賽結束后以電話調查和采訪的方式對選手進行抽樣用戶測試數據采集，并將采集的測試評估數據記錄并進行梳理歸納處理，最終輸出我們需要的調查評估數據。在整個過程中，用戶測試基本流程需要精心設計。根據經驗，我們將用戶測試基本流程分為四大部分：
第一：首先需要明確本次測試的目標，然后由用戶研究員設計參與者在測試過程中需要完成的任務及測試腳本，由于本次是直接在競賽過程中對用戶進行用戶測試，因此本次競賽選手即為我們需要招募的測試用戶。根據年齡段及社會經驗作為招募標準和調查對象篩選條件。因為測試中設計什么樣的任務和你要描述的用戶操作直接相關，確定了前者，后者也就更加明確了。
第二：需要在競賽選手中篩選用戶進行數據采集，我們所邀請的用戶必須是目標用戶，并且符合本次測試的各項條件。綜合目前調查的情況來看，我們篩選了進入場景題的所有用戶作為本次調查和數據采集的對象，并根據設計對應的測試調查任務和問題進行電話逐一采訪，成功收回所有測試數據。
第三：進行測試，在正常的產品測試中，我們會使用可用性實驗室及產品測試團隊。在本次測試中，我們直接使用選手的實際使用操作作為測試環境和測試對象，在進行測試中我們需要觀察和記錄參與者執行任務的情況。在電話采訪中，一般我們以拋出問題為主，少做建議，在用戶不知所措的時候適當地提問或者幫助加以引導。
第四：分析與報告，電話采訪結束后，需要對采集的數據進行記錄并進行預處理，仔細重讀每個參與者的測試記錄，挖掘其中的可用性問題，列出所有的問題并分類整理，判斷問題的嚴重性，整理成為可閱讀性的測試報告。
測試報告羅列出采集的問題，還不能直接用于產品的改善任務和優化條目，我們還得繼續分析問題以梳理更多細節：比如如何判斷測試用戶對某一問題是理性還是感性的？這就又回到了我們設計測試任務的初衷及內容層面上，針對這一問題的判斷還需要我們就任務內容本身著手，并就任務內容本身尋找答案。除了答案本身的理性與感性判斷，我們還需對任務內容本身的采集數據進行定量和定性評估，定量評估是對可以計量的部分進行評價，如點擊量，使用率等，完全可以用數據來說明。定性評估是指對非計量的部分進行評價，如流暢度、舒適性、創造性等進行評價，它只能表示一個度，無法準確用數據來說明問題。根據采集的問題的價值判斷及定量定性評估分析，我們就能篩選出比較關切的可用性問題并針對性的羅列計劃進行逐一解決。
本次用戶測試調查幫助我們找出了一些問題，有益于產品的優化改進。在有效性方面，測試用戶均表達了對×××接入場景的網絡穩定性的擔憂、***客戶端下載速度受限于選手本身網絡速度等問題。由于是第一次采取線上賽場景題接入模式，在調查反饋中，測試用戶表示下載×××客戶端花費了較長時間，在爭分奪秒是賽場上，網絡不好的一方將會受限于網絡下載而拖慢進入場景的速度，影響與賽題的交互和答案的提交。從產品的可用性角度看，這是一個嚴重的有效性問題，將會在后續的幾個場次中優先解決該問題。其次，測試用戶均表達對×××網絡的穩定性問題的擔憂等重大有效性問題。
在效率方面，測試用戶希望在賽題答案示例、***目標IP直接提供等方面提供操作效率。由于賽題答案格式不統一，均希望在提高答題效率方面，針對每個賽題能夠提供賽題的答案示例，以提升選手尋找答案及拼接答案的操作效率，減少重復的嘗試及時間浪費。此外，由于***目標確定，測試用戶希望能夠直接提供***目標IP地址，減少不必要的網絡掃描，因為所有選手的網絡掃描會嚴重占用大量帶寬資源，造成網絡在接入階段的阻塞和卡頓。
還有其他各種細節的小問題記錄也會幫助我們改善后續的產品用戶體驗。綜合來看，競賽平臺在實踐中進行用戶測試和評估，能夠最大程度的幫助我們改善產品、優化體驗，發現并解決產品存在的問題。