在實(shí)際的運(yùn)維場(chǎng)景中，構(gòu)建一個(gè)異常檢測(cè)系統(tǒng)往往需要兩個(gè)角色共同參與：領(lǐng)域?qū)＜液退惴ㄩ_(kāi)發(fā)人員。領(lǐng)域?qū)＜乙簿褪俏覀兊倪\(yùn)維人員，他們對(duì)KPI曲線(xiàn)的行為很熟悉，可以通過(guò)觀察KPI曲線(xiàn)并結(jié)合自己的領(lǐng)域知識(shí)，判斷KPI曲線(xiàn)是否出現(xiàn)異常；算法開(kāi)發(fā)人員負(fù)責(zé)構(gòu)建異常檢測(cè)系統(tǒng)，他們熟悉異常檢測(cè)器（算法），但是實(shí)際中有各種不同類(lèi)型的KPI曲線(xiàn)需要維護(hù)，所以需要為不同類(lèi)型的KPI曲線(xiàn)選擇合適的異常檢測(cè)器以及合適的算法參數(shù)。

　　如何構(gòu)建一個(gè)異常檢測(cè)系統(tǒng)？

　　在實(shí)際構(gòu)建異常檢測(cè)系統(tǒng)時(shí)，首先需要運(yùn)維人員結(jié)合自己的領(lǐng)域知識(shí)向算法開(kāi)發(fā)人員描述異常，然后開(kāi)發(fā)人員根據(jù)這些描述來(lái)為KPI曲線(xiàn)選擇合適的檢測(cè)器和算法參數(shù)，接著領(lǐng)域?qū)＜腋鶕?jù)這些檢測(cè)器的檢測(cè)結(jié)果向開(kāi)發(fā)人員反饋，來(lái)進(jìn)一步優(yōu)化檢測(cè)器。所以實(shí)際中經(jīng)常需要經(jīng)過(guò)多次迭代才能開(kāi)發(fā)出可用的異常檢測(cè)系統(tǒng)，有時(shí)還會(huì)出現(xiàn)最終開(kāi)發(fā)失敗的例子，這是因?yàn)椋?br />
　　1.運(yùn)維人員難以事先給出準(zhǔn)確、量化的異常定義

　　2.選擇和綜合不同的檢測(cè)器需要很多人力

　　3.檢測(cè)器算法復(fù)雜，參數(shù)調(diào)節(jié)不直觀

　　實(shí)際中經(jīng)常需要經(jīng)過(guò)多次迭代才能開(kāi)發(fā)出可用的異常檢測(cè)系統(tǒng)，有時(shí)還會(huì)出現(xiàn)最終開(kāi)發(fā)失敗的例子。因此，我們就會(huì)問(wèn)，有沒(méi)有一個(gè)可以自動(dòng)選擇異常檢測(cè)器和自動(dòng)調(diào)節(jié)算法參數(shù)的系統(tǒng)呢？答案是有！，我們實(shí)驗(yàn)室的研究成果：基于機(jī)器學(xué)習(xí)的KPI自動(dòng)化異常檢測(cè)系統(tǒng)（Opprentice）就是針對(duì)它設(shè)計(jì)的，下文將主要介紹Opprentice 的設(shè)計(jì)思想以及設(shè)計(jì)框架。

　　設(shè)計(jì)思想

　　Opprentice （Operator's Apprentice）的主要思想就是跟著運(yùn)維人員從歷史數(shù)據(jù)中學(xué)習(xí)，運(yùn)維人員就像是一個(gè)“師傅”，將自己的領(lǐng)域知識(shí)“教“給Opprentice，然后Opprentice根據(jù)“學(xué)”到的知識(shí)來(lái)自動(dòng)選擇合適的異常檢測(cè)器和算法參數(shù)。如下圖所示，運(yùn)維人員首先在歷史的KPI曲線(xiàn)上標(biāo)記出異常，接著Opprentice 使用十幾種不同類(lèi)型的檢測(cè)器提取出上百個(gè)異常特征，此時(shí)有了人工標(biāo)記的數(shù)據(jù)和異常特征，我們就可以將異常檢測(cè)問(wèn)題轉(zhuǎn)化成機(jī)器學(xué)習(xí)中監(jiān)督式的分類(lèi)問(wèn)題，將提取出的特征作為機(jī)器學(xué)習(xí)算法的輸入，通過(guò)分類(lèi)算法將KPI曲線(xiàn)上的點(diǎn)分為正常和異常，從而實(shí)現(xiàn)了異常檢測(cè)。


　　Opprentice主要由兩部分組成：離線(xiàn)訓(xùn)練分類(lèi)器和在線(xiàn)檢測(cè)，在離線(xiàn)訓(xùn)練分類(lèi)器部分，首先運(yùn)維人員使用我們開(kāi)發(fā)的異常標(biāo)注工具，方便快速的標(biāo)注出KPI曲線(xiàn)上的異常數(shù)據(jù)，并且設(shè)置期望Opprentice達(dá)到的準(zhǔn)確率（precision）和召回率（recall），然后Opprentice會(huì)使用十幾種不同類(lèi)型的檢測(cè)器提取出KPI曲線(xiàn)的特征，其中每種檢測(cè)器都有多種不同的參數(shù)配置，因此最終會(huì)提取出上百個(gè)異常特征。因?yàn)樘崛〕龅纳习賯€(gè)異常特征中會(huì)存在無(wú)關(guān)特征和冗余特征，一些機(jī)器學(xué)習(xí)算法使用包含有這些特征的數(shù)據(jù)訓(xùn)練模型時(shí)準(zhǔn)確度會(huì)降低，為了解決這個(gè)問(wèn)題，我們選擇了一種集成學(xué)習(xí)算法（ensemble learning algorithm）來(lái)訓(xùn)練分類(lèi)器：隨機(jī)森林，隨機(jī)森林算法使用了多棵決策樹(shù)，最終的結(jié)果是由每棵決策樹(shù)的結(jié)果投票決定的，并且訓(xùn)練決策樹(shù)的特征和數(shù)據(jù)都只是采樣了整體特征和數(shù)據(jù)的一部分，因此使用隨機(jī)森林訓(xùn)練模型時(shí)，無(wú)關(guān)特征和冗余特征不會(huì)影響算法的性能。最后，將提取出的異常特征，運(yùn)維人員的標(biāo)注數(shù)據(jù)和準(zhǔn)確性?xún)A向作為輸入，訓(xùn)練出異常分類(lèi)器。

　　在線(xiàn)檢測(cè)部分中，首先對(duì)于新的數(shù)據(jù)點(diǎn)進(jìn)行特征提取，然后用訓(xùn)練出的分類(lèi)器判斷數(shù)據(jù)點(diǎn)是否異常。在實(shí)際中，新的KPI數(shù)據(jù)中往往會(huì)出現(xiàn)一些歷史數(shù)據(jù)中沒(méi)有出現(xiàn)過(guò)的異常類(lèi)型，為了讓分類(lèi)器可以適應(yīng)新出現(xiàn)的異常，就需要運(yùn)維人員定期的對(duì)最新的KPI數(shù)據(jù)進(jìn)行異常標(biāo)記，Opprentice會(huì)定期訓(xùn)練新的模型來(lái)更新分類(lèi)器。


　　我們使用了來(lái)自百度和清華校園網(wǎng)的數(shù)個(gè)月的真實(shí)數(shù)據(jù)對(duì)系統(tǒng)的性能進(jìn)行了驗(yàn)證，下面四幅圖是在四個(gè)不同類(lèi)型的KPI數(shù)據(jù)上，Opprentice使用的隨機(jī)森林模型跟其它檢測(cè)器的性能對(duì)比，可以看出Opprentice均取得了優(yōu)異的結(jié)果。

　　總結(jié)

　　Opprentice將異常檢測(cè)問(wèn)題轉(zhuǎn)換成了機(jī)器學(xué)習(xí)中的監(jiān)督式分類(lèi)問(wèn)題，使用運(yùn)維人員的標(biāo)注數(shù)據(jù)，在歷史數(shù)據(jù)中訓(xùn)練出分類(lèi)模型來(lái)自動(dòng)構(gòu)建異常檢測(cè)系統(tǒng)，從而解決了異常檢測(cè)器的選擇和算法參數(shù)調(diào)整的難題，為復(fù)雜檢測(cè)器的實(shí)際應(yīng)用提供了自動(dòng)化的框架。