如何診治IP網(wǎng)絡(luò)故障[2]

  排障

  突出根源告警

  前文提到，告警數(shù)量多的根源在于層次多、關(guān)聯(lián)多，底層故障衍生出大量高層告警。如果我們能夠突出根源告警，忽略或者抑制衍生告警，就不需要針對(duì)無(wú)效告警派單處理，從而減少工作量。

  從華為的網(wǎng)上問(wèn)題庫(kù)中統(tǒng)計(jì)發(fā)現(xiàn)，IP網(wǎng)絡(luò)的故障根源大部分來(lái)自于硬件、鏈路的劣化。尤其是網(wǎng)絡(luò)中的鏈路，如光纖、微波等，容易受到環(huán)境影響，從而導(dǎo)致接口閃斷。接口反復(fù)UP/DOWN，將引發(fā)大量接口的告警，同時(shí)又引起IGP協(xié)議收斂，引發(fā)IGP反復(fù)告警，進(jìn)而引發(fā)LSP的反復(fù)告警。即鏈路的告警將衍生出大量的協(xié)議告警。

  針對(duì)以上情況，華為提出兩種告警優(yōu)化的思路：第一，在告警監(jiān)控中，將告警歸類(lèi)為環(huán)境、硬件、軟件、接口、鏈路管道、協(xié)議和業(yè)務(wù)等幾個(gè)類(lèi)別，環(huán)境、硬件類(lèi)告警的處理優(yōu)先級(jí)大于協(xié)議、業(yè)務(wù)類(lèi)告警。高級(jí)別告警處理恢復(fù)后，其衍生的低級(jí)別協(xié)議告警會(huì)自動(dòng)恢復(fù)。這種方法簡(jiǎn)單實(shí)用，可短期見(jiàn)效。第二，建設(shè)告警相關(guān)性系統(tǒng)，按協(xié)議、業(yè)務(wù)運(yùn)行關(guān)系定義告警的衍生關(guān)系。在告警監(jiān)控系統(tǒng)上，將衍生告警掛接在根源告警上顯示，管理員直接處理根源告警，這種方法可以比較完善地解決告警多的問(wèn)題，但建設(shè)困難且周期較長(zhǎng)。

  解決“無(wú)告警故障”的關(guān)鍵在于預(yù)期和現(xiàn)狀的對(duì)比，我們?nèi)詮目刂破矫婧娃D(zhuǎn)發(fā)平面分別闡述。

  路徑預(yù)期和檢測(cè)

  盡管IP的控制平面采用了動(dòng)態(tài)協(xié)議，但其運(yùn)行的基礎(chǔ)仍然是物理鏈路和SPF（Shortest Path First）算法，鏈路規(guī)劃越簡(jiǎn)單，路徑預(yù)期就越清晰。如在大部分的中小型城域網(wǎng)設(shè)計(jì)中，網(wǎng)絡(luò)層次少，層次之間采用主備雙鏈路進(jìn)行保護(hù)，路徑非主即備。對(duì)于這種網(wǎng)絡(luò)，只要維護(hù)好網(wǎng)絡(luò)拓?fù)鋱D，就可以滿足故障處理的需要。

  對(duì)于大型、復(fù)雜的網(wǎng)絡(luò)，管理員通過(guò)物理鏈路的分布，已無(wú)法快速識(shí)別業(yè)務(wù)路徑。在這種情況下，需要采用仿真計(jì)算的方式，將網(wǎng)絡(luò)上的配置、拓?fù)涞燃械椒抡孳浖校?jì)算出業(yè)務(wù)的預(yù)期路徑。

  預(yù)期建立之后，采用OSS軟件定期獲取路徑的現(xiàn)狀并與預(yù)期對(duì)比的方式，若不一致即發(fā)送告警，并提示管理員網(wǎng)絡(luò)發(fā)生了故障。中小型、簡(jiǎn)單網(wǎng)絡(luò)可以采用TraceRt獲取路徑。大型、復(fù)雜網(wǎng)絡(luò)一般都會(huì)存在ECMP（Equal-Cost MultiPath等價(jià)多路徑），此類(lèi)情況一般可以綜合TraceRt、轉(zhuǎn)發(fā)表查詢等方式來(lái)詳細(xì)判斷業(yè)務(wù)流的路徑。另一種方式是通過(guò)分析IGP的泛洪報(bào)文，掌握路徑建立的詳細(xì)過(guò)程，根據(jù)路由算法和配置來(lái)掌握轉(zhuǎn)發(fā)路徑。

[1]  [2]  [3]