作為AI產品經理，我們到底在優化什么？

https://www.toutiao.com/a6685626606284702220/

大數據文摘出品

作者：Guy Molho

編譯：張強、睡不著的iris、周素云

用戶體驗與人工智能（AI）之間有什么樣的關系？這種關系對產品經理而言又意味著什么？

這兩個問題非常重要，因為它會影響產品的用戶體驗及其價值主張。

本文作者Guy Molho，是一位經驗豐富的產品經理。曾經用了15個月的時間，在沒有涉足太多細節的情況下，為B2B公司的客戶成功團隊開發了基于AI的軟件解決方案。

在文章中他提到，產品經理需要了解她的客戶，需要了解自己的工作環境、使命、想要實現什么以及挑戰，然后才能設計出最能滿足這些需求的目標解決方案。

以下是他對“作為AI產品經理，我們到底在優化什么？”問題的回答，enjoy?

對于產品經理而言，AI代表是什么？

產品必須解決現實世界的問題。技術和實施細節應該為產品服務，并且對可用性的影響最小（至少在軟件層面）。AI是一種解決問題的實現方法，但其預測性對用戶體驗和可用性有重要影響。

當一家公司為任何市場或類別設計基于AI的解決方案時，它總要捫心自問，我們為什么優化產品？我們是否正在優化準確度、陽性預測值或命中率？或換句話說，是否能優化精確度或召回率？回答這些問題至關重要，因為它會影響產品的用戶體驗及其價值主張。

作為一家開發基于AI的解決方案的初創公司的產品經理，我每天都會考慮這個問題，并根據決策制定我們的解決方案。

召回率和精確度

召回率和精確度聽起來很熟悉，也許熟悉到忘記它們是什么！精確度和召回率是統計術語，用于衡量算法返回結果的關聯。這些術語有官方學術解釋，但我想通過一個例子來解釋一下。

天氣預測

假設我有一臺預測明天是否會下雨的機器。如果明天下雨，機器返回“是”，如果不下雨，則返回“否”。我們連續100天運行機器并得到以下結果：

• 機器預測會下雨10次
• 其余的90天它預測是不下雨

現在我們將預測結果與實際的天氣進行比較：

在它預測下雨的10次中，的確下雨了。預測非常精確。有多精確呢？ 在10次預測中，10次下了雨→10/10。我們的精度為100％。

這是否意味著我有終極的下雨預測器？這并不確定。讓我們看看其他90天。

當我們計算下雨天的總數時，我們發現實際上總共有20個下雨天。這意味著什么？機器召回（預測正確）了20個雨天中的10個雨天→10/20→50％。所以它預測了50％的雨天，但它也錯過了其中50％。

現在，你認為我的機器仍然很棒嗎？

來源：Unsplash

讓我們考慮極端情況。我的機器壞了，每天它都說明兒會下雨。得到的結果：

• 下雨-100天
• 不下雨-0天

現在讓我們再次評估結果：

機器現在不那么精確了，因為在它總共預測的100次中，實際上只下雨了20次→20/100→20％。

但是從真正的20個下雨天考慮，機器正確預測了全部20個，即20/20→100％召回率。

現在假設你可以去商店購買上述機器之一，您更喜歡哪臺機器？更精確的那個，即如果它說要下雨，你可以很確定，但會錯過許多下雨天；還是不會錯過任何下雨天，但很多其他日子都會預測錯誤的機器？

答案不是那么直截了當。也許對于降雨預測是這樣，但對于許多其它的基于AI的應用來講，那并非如此。

這也許有些繞，不過沒關系，我創建了混淆矩陣，也許能幫助你對事物分類并計算精確度和召回率：

精確度= TP / (TP+FP)

召回率= TP / (TP+FN)

天氣預測—機器A

精確度=10/(10+0) = 10/10 = 100%

召回率=10/(10+10) = 10/20 = 50%

精確度=10/(10+0) = 10/10 = 100%

召回率=10/(10+10) = 10/20 = 50%

天氣預測—機器B

精確度= 20/(20+80) = 20/100 = 20%

召回率= 20/(20+0) = 20/20 = 100%

精確度= 20/(20+80) = 20/100 = 20%

召回率= 20/(20+0) = 20/20 = 100%

那么，你在優化什么？

現在，當我們真正了解差異時，我們應該如何優化我們的模型和產品？ 精確度或召回率？大多數時候我們必須選擇其一，精確度和召回率都高幾乎是不可能的。

優化什么的決策取決于許多因素：心理、經濟、錯誤成本、遺漏成本、聲譽和時間等等。

讓我們來看三個真實場景并討論一下：

癌癥檢測

作為一名患者，你寧愿被發現患有癌癥并開始治療，然后發現沒有患病（假陽性）？還是當已經來不及治療時發現你患有癌癥（假陰性）？

如果你是健康保險公司，你的答案是否會改變？你會資助所有不必要的治療嗎？你會提高保險費以不錯過任何人嗎？作為一名醫生，您是否會冒著聲譽的風險去錯過檢測？

至少作為病人，沒有人想錯過被檢測。因此，當構建檢測癌癥的產品時，優化召回率（避免假陰性）將更有意義。

機場安檢

作為乘客，你寧愿在漫長的警戒線中等待，以免有危險意外通過安檢嗎？還是更愿意快速通過這些檢查，并承擔槍可以走私到飛機的風險？監管者肯定會選擇避免風險。

Netflix推薦

作為用戶，你更愿意獲得高度相關的推薦，而不是可能受歡迎但不適合你的一般內容。因此，在這種情況下，產品要優化精確度（避免假陽性）。

我們可以討論幾十個例子，并嘗試了解產品要優化什么，以及在與之交互時，它如何影響整體的用戶體驗。

客戶流失預測

我們開發了一款基于AI的產品，用于預測B2B公司的客戶流失。我們使客戶成功團隊能夠將他們的工作重點放在真正重要的客戶身上，并得到更好結果。

優化精確度意味著產品將精確定位一個非常有針對性的名單，該名單包含面臨流失風險的客戶，且沒有人被錯誤地劃歸其中。朝著這個方向的困難是缺少一堆會流失卻沒被檢測到的客戶。

緩解這種情況的想法是將列表拆分為幾頁，其中第一頁包含最相關的客戶。如果用戶想要探索更多，則可以進入下一頁。Google搜索結果提供了這樣的體驗，首頁包含最相關的結果。如果你想探索更多，你也可以查看其他頁面。

優化召回率意味著產品將不那么敏感，并且會生成面臨流失風險的客戶的更長名單，并確保我們不會錯過任何人。這里的缺點是該列表會包含誤報，即一些不會有流失風險的客戶。

減輕這種情況的辦法是將列表與其他客戶特征相結合，這些特征可能會對其風險（例如優先級）提供更多提示。

因此，作為產品經理，我需要向客戶了解，他們是更容忍假陽性還是假陰性，他們期望從產品中獲得什么樣的體驗？是否有足夠的資源來處理流失的客戶等等。

相關鏈接

https://towardsdatascience.com/what-are-you-optimizing-for-17c4406544ec