人工智能中的概率值大小如何測(cè)試？[軟件測(cè)試培訓(xùn)]

很多人都在玩抖音，并且越玩越嗨，究其根源就是抖音根據(jù)個(gè)人愛(ài)好進(jìn)行的精準(zhǔn)視頻推薦，那么問(wèn)題來(lái)了，精準(zhǔn)度怎么測(cè)試呢? 其實(shí)精準(zhǔn)度就是一個(gè)概率值，并且像抖音這樣的推薦系統(tǒng)通常是使用人工智能分類算法實(shí)現(xiàn)的，而分類算法有個(gè)AUC指標(biāo)可以很好的衡量概率值的大小評(píng)測(cè)是否合適。本文就通過(guò)兩步來(lái)介紹怎樣通過(guò)分類算法的AUC指標(biāo)來(lái)評(píng)測(cè)類似抖音推薦系統(tǒng)的推薦精準(zhǔn)度。

一、了解TPR與FPR指標(biāo)

·目標(biāo)

了解TPR與FPR的定義以及作用

·步驟

1.了解AI模型分類算法的4個(gè)關(guān)鍵定義

TP:抖音推薦的視頻確實(shí)是用戶想要的視頻

TN:抖音沒(méi)推薦的視頻確實(shí)是用戶不想要的視頻

FP:抖音推薦的視頻是用戶不想要的視頻

FN:抖音沒(méi)推薦的視頻是用戶想要的視頻

2.了解TPR和FPR的公式

TPR = TP / (TP + FN) FPR = FP / (FP + TN) 3.TPF和FPR的作用

分別用于衡量推薦精準(zhǔn)度圖形的橫縱坐標(biāo)

二、了解SOC以及AUC

·目標(biāo)

掌握SOC、AUC的定義以及作用

·步驟

1.SOC曲線圖的定義

ROC曲線的橫軸就是上面提到的FPR，縱軸就是上面提到的TPR，其圖形如下圖藍(lán)色線段所示：

越接近于左上角表示衡量的概率值越合理

2.AUC指標(biāo)

• AUC的概率意義是隨機(jī)取一對(duì)用戶喜歡的視頻和用戶不喜歡的抖音視頻，將用戶喜歡的視頻優(yōu)先于用戶不喜歡的視頻進(jìn)行推送的概率值，因此這個(gè)值越大越好

• 從幾何意義上看AUC就代表SOC曲線的面積。代表了系統(tǒng)將用戶喜歡的視頻按照概率值從大大小進(jìn)行排序的分類能力，因此AUC可以很好的衡量公司開(kāi)發(fā)的推薦系統(tǒng)推薦的概率值也就是精準(zhǔn)度是否合理

總結(jié)

本文以抖音為例提出了怎樣測(cè)試推薦系統(tǒng)推薦的精準(zhǔn)性，從界面上是看不出來(lái)哪個(gè)視頻推薦給用戶的概率值應(yīng)該是更高的，而通過(guò)實(shí)現(xiàn)推薦系統(tǒng)的分類算法自帶的AUC指標(biāo)進(jìn)行衡量可以很好的評(píng)測(cè)這個(gè)概率值，同時(shí)這個(gè)概率值的評(píng)測(cè)往往也是推薦系統(tǒng)的測(cè)試重點(diǎn)和難點(diǎn)。

本文來(lái)自：傳智播客軟件測(cè)試學(xué)院 test.itcast.cn