使用Python進(jìn)行異常檢測(cè)的解決方案
計(jì)算每個(gè)特征的平均值。這里我們只有兩個(gè)特征:0和1。s = np.sum(df, axis=0)
mu = s/m
mu
輸出:0 14.112226
1 14.997711
dtype: float64
根據(jù)上面“公式和過(guò)程”部分中描述的公式,讓我們計(jì)算方差:vr = np.sum((df - mu)**2, axis=0)
variance = vr/m
variance
輸出:0 1.832631
1 1.709745
dtype: float64
現(xiàn)在把它做成對(duì)角線形狀。正如我在概率公式后面的“公式和過(guò)程”一節(jié)中所解釋的,求和符號(hào)實(shí)際上是方差var_dia = np.diag(variance)
var_dia
輸出:array([[1.83263141, 0. ],
[0. , 1.70974533]])
計(jì)算概率:k = len(mu)
X = df - mu
p = 1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))* np.exp(-0.5* np.sum(X @ np.linalg.pinv(var_dia) * X,axis=1))
p
訓(xùn)練部分已經(jīng)完成。下一步是找出閾值概率。如果概率低于閾值概率,則樣本數(shù)據(jù)為異常數(shù)據(jù),但我們需要為我們的特殊情況找出那個(gè)閾值。對(duì)于這一步,我們使用交叉驗(yàn)證數(shù)據(jù)和標(biāo)簽。對(duì)于你的案例,你只需保留一部分原始數(shù)據(jù)以進(jìn)行交叉驗(yàn)證,F(xiàn)在導(dǎo)入交叉驗(yàn)證數(shù)據(jù)和標(biāo)簽:cvx = pd.read_excel('ex8data1.xlsx', sheet_name='Xval', header=None)
cvx.head()
標(biāo)簽如下:cvy = pd.read_excel('ex8data1.xlsx', sheet_name='y', header=None)
cvy.head()
把'cvy'轉(zhuǎn)換成NumPy數(shù)組。y = np.a(chǎn)rray(cvy)
輸出:# 數(shù)組的一部分
array([[0],
[0],
[0],
[0],
[0],
[0],
[0],
[0],
[0],
這里,y值為0表示這是一個(gè)正常的樣本,y值為1表示這是一個(gè)異常的樣本。選擇閾值首先讓我們?cè)贆z查一下概率值。p.describe()
輸出:count 3.070000e+02
mean 5.905331e-02
std 2.324461e-02
min 1.181209e-23
25% 4.361075e-02
50% 6.510144e-02
75% 7.849532e-02
max 8.986095e-02
dtype: float64

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-
馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-
機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹(shù)機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-
存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬(wàn)
-
長(zhǎng)安汽車母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-
豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-
字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
-
員工持股爆雷?廣汽埃安緊急回應(yīng)
-
中國(guó)“智造”背后的「關(guān)鍵力量」
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開(kāi)發(fā)者大會(huì)深圳站
-
10月24日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
即日-11.25立即下載>>> 費(fèi)斯托白皮書《柔性:汽車生產(chǎn)未來(lái)的關(guān)鍵》
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
12月18日立即報(bào)名>> 【線下會(huì)議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
推薦專題
- 1 特斯拉工人被故障機(jī)器人打成重傷,索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后,張一鳴終于把算法公司變成AI公司?
- 3 AI 時(shí)代,阿里云想當(dāng)“安卓” ,那誰(shuí)是“蘋果”?
- 4 硬剛英偉達(dá)!華為發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)和集群
- 5 機(jī)器人9月大事件|3家國(guó)產(chǎn)機(jī)器人沖刺IPO,行業(yè)交付與融資再創(chuàng)新高!
- 6 谷歌“香蕉”爆火啟示:國(guó)產(chǎn)垂類AI的危機(jī)還是轉(zhuǎn)機(jī)?
- 7 00后華裔女生靠?jī)刹緼I電影狂賺7.8億人民幣,AI正式進(jìn)軍好萊塢
- 8 美光:AI Capex瘋投不止,終于要拉起存儲(chǔ)超級(jí)周期了?
- 9 華為已殺入!AI領(lǐng)域最熱黃金賽道,大廠的數(shù)字人美女讓我一夜沒(méi)睡著覺(jué)
- 10 隱退4年后,張一鳴久違現(xiàn)身!互聯(lián)網(wǎng)大佬正集體殺回