交換機(jī)cpu負(fù)載90%以上（二）
一.背景介紹：
來到這個(gè)公司2個(gè)多月，就又遇到了一起“交通事故”，交換機(jī)cpu90%以上，公司的人上公網(wǎng)，訪問idc數(shù)
據(jù)總是出現(xiàn)丟包的情況，公司使用的都是cisco的設(shè)備 ，接入有2960，2950，3560交換機(jī)，core 是4506交換
機(jī)，防火墻是juniper， 出口路由器是routeros；

目前累計(jì)服務(wù)客戶上千，積累了豐富的產(chǎn)品開發(fā)及服務(wù)經(jīng)驗(yàn)。以網(wǎng)站設(shè)計(jì)水平和技術(shù)實(shí)力，樹立企業(yè)形象，為客戶提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作、網(wǎng)站策劃、網(wǎng)頁設(shè)計(jì)、網(wǎng)絡(luò)營銷、VI設(shè)計(jì)、網(wǎng)站改版、漏洞修補(bǔ)等服務(wù)。創(chuàng)新互聯(lián)公司始終以務(wù)實(shí)、誠信為根本，不斷創(chuàng)新和提高建站品質(zhì)，通過對(duì)領(lǐng)先技術(shù)的掌握、對(duì)創(chuàng)意設(shè)計(jì)的研究、對(duì)客戶形象的視覺傳遞、對(duì)應(yīng)用系統(tǒng)的結(jié)合，為客戶提供更好的一站式互聯(lián)網(wǎng)解決方案，攜手廣大客戶，共同發(fā)展進(jìn)步。

二.案例賞析

雪飄人間分享案例之cpu負(fù)載90%以上（二）

    如上是網(wǎng)絡(luò)的部分拓?fù)鋱D，由于是辦公生產(chǎn)網(wǎng)絡(luò)，并且有內(nèi)部server數(shù)據(jù)，所以整個(gè)拓?fù)鋱D無權(quán)限展現(xiàn)出
來，不過這將完全不影響我們展現(xiàn)問題所在；

    首先在接到同事反映網(wǎng)速慢時(shí)，我就采用分段隔離法，逐級(jí)測(cè)試外網(wǎng)地址 ，最終確定是我們自己內(nèi)部到網(wǎng)
關(guān)就有問題；這個(gè)可不好排查了，因?yàn)椴皇撬腥说骄W(wǎng)關(guān)都有問題，其實(shí)絕大多數(shù)到網(wǎng)關(guān)都沒有問題
當(dāng)時(shí)的判斷是某個(gè)接入交換機(jī)到核心交換機(jī)線路有問題，要是這個(gè)問題的話，那就不好搞了 ，因?yàn)檗k公網(wǎng)是從
1996年就開始成立了 ，線路老化也是非常有可能的，要真的是線路的問題，那么換線是非常麻煩的事情
了，但是后來仔細(xì)觀察發(fā)現(xiàn)，丟包同事的pc機(jī)器并不都在一臺(tái)交換機(jī)上，而是分布在很多臺(tái)上，這個(gè)就可以排
除是線路老化造成的了，因?yàn)榫€路老化不可能同一時(shí)間很多條線路都老化了；問題變得越來越棘手

    當(dāng)時(shí)考慮最近有沒有上什么新的業(yè)務(wù)導(dǎo)致辦公網(wǎng)流量徒增造成的，但是事實(shí)是沒有上新業(yè)務(wù)，和往常一樣，
于是我就利用我們的監(jiān)控Cacti查看這臺(tái)核心交換機(jī)的流量圖，發(fā)現(xiàn)交換機(jī)在和防火墻對(duì)接的口流量非常的大
而我們的防火墻又是現(xiàn)上的；看來就是防火墻和交換機(jī)之間的連線問題了，在這個(gè)之前我們也用wireshark抓
包看過內(nèi)網(wǎng)流量，發(fā)現(xiàn)除了大量的budp，沒有其他的異常流量

     我看了下防火墻到交換機(jī)的兩條線路，防火墻本身是個(gè)1000兆的接口 ，但是交換機(jī)基本上都是百兆的接口
千兆接口少之又少，而且基本上都被占用，并且防火墻和交換機(jī)對(duì)接的有一個(gè)線是千兆，而另一根線是百兆
的，看來是流量阻塞造成的了

     過程是這樣的，內(nèi)網(wǎng)網(wǎng)關(guān)放在防火墻上，流量經(jīng)交換機(jī)二層到防火墻，然后再由防火墻經(jīng)由交換機(jī)到路由
器，由于進(jìn)到防火墻是個(gè)千兆，所以很多流量都能過去，但是防火墻將流量轉(zhuǎn)發(fā)的交換機(jī)上的時(shí)候，交換機(jī)卻
用百兆網(wǎng)口去接收，導(dǎo)致交換機(jī)接口的利用率達(dá)到了100%，然后交換機(jī)采用cpu去計(jì)算，這樣交換機(jī)的cpu自
然會(huì)升高

     后來我是在交換機(jī)上找了個(gè)千兆口接在防火墻，cpu下去了，丟包現(xiàn)象消失

       事情到此任然沒有結(jié)束，let‘s  go ！
      當(dāng)我再次查看cpu的時(shí)候，發(fā)現(xiàn)cpu利用率還是很高：

雪飄人間分享案例之cpu負(fù)載90%以上（二）

       通過查看其進(jìn)程發(fā)現(xiàn)是Cat4k Mgmt LoPri 非常的高，這里的HiPri代表是處理高優(yōu)先級(jí)的進(jìn)程，LoPri代
 表處理低優(yōu)先級(jí)的進(jìn)程，LoPri 值比較大原因是因?yàn)檫M(jìn)程超過了HiPri給定的Target，然后交給了LoPri來處理
 最終才帶來了LoPri值比較大的問題：

雪飄人間分享案例之cpu負(fù)載90%以上（二）

        我開始再次查看cpu的進(jìn)程（show platform health）
    雪飄人間分享案例之cpu負(fù)載90%以上（二）
       這條命令是能夠查看時(shí)哪個(gè)進(jìn)程占用了大量cpu：
       intra#   sh  platform health
                                         %CPU   %CPU    RunTimeMax   Priority  Average %CPU  Total
                                          Target Actual Target Actual   Fg   Bg 5Sec Min Hour  CPU

        K2PortMan Review       2.00   2.81     15     11  100  500    2   2    2  8242:09
       Gigaport0 Review       0.40   0.00      4      0  100  500    0   0    0  0:00
       Gigaport1 Review       0.40   0.00      4      0  100  500    0   0    0  0:00
       Gigaport2 Review       0.40   0.00      4      0  100  500    0   0    0  0:00
       Gigaport3 Review       0.40   0.00      4      0  100  500    0   0    0  0:00
       K2FibPerVlanPuntMan    2.00   0.00     15      2  100  500    0   0    0  0:00
       K2FibFlowCache flow    2.00   0.02     10      8  100  500    0   0    0  195:34
       K2FibFlowCache flow    2.00  54.00     10      8  100  500   58  65   45  41846:36
       K2FibFlowCache adj r   2.00   0.09     10      4  100  500    0   0    0  280:52

       可以看到 其他的值Target的值是比Actual大的，但是K2FibFlowCache flow  是不正常的，查看
  官網(wǎng)對(duì)應(yīng)的解釋：
       雪飄人間分享案例之cpu負(fù)載90%以上（二）
        這個(gè)值之所以大是因?yàn)?，PBR在作怪，我們核心交換機(jī)上確實(shí)配置了PBR做特別需求處理，當(dāng)我把
   PBR給去掉了時(shí)候，再次查看K2FibFlowCache flow

雪飄人間分享案例之cpu負(fù)載90%以上（二）
發(fā)現(xiàn)這個(gè)值立刻就下去了，然后在看看CPU 雪飄人間分享案例之cpu負(fù)載90%以上（二）

三.總結(jié)結(jié)論
1.對(duì)于交換機(jī)的cpu升高有很多種因素造成，排查起來相對(duì)困難
2.排查cpu故障時(shí)，如果是突然的升高，那么也要從好幾個(gè)方面排查，主要是看最近業(yè)務(wù)有沒有變動(dòng)，架構(gòu)有
沒有變動(dòng)，配置有沒有變動(dòng)等，有可能是誤操作導(dǎo)致，當(dāng)然老的機(jī)器還有可能是硬件出現(xiàn)故障
3.一般來說流量徒增，對(duì)交換機(jī)cpu影響是比較大的，比如交換機(jī)接口轉(zhuǎn)發(fā)流量，×××流量等等
4.官網(wǎng)也有很多對(duì)于cpu升高問題處理解決辦法，在解決問題時(shí)還要結(jié)合其他有用的資源，比如本例中的流量
監(jiān)控工具Cacti

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前文章：交換機(jī)cpu負(fù)載90%以上（二）【新任幫主】-創(chuàng)新互聯(lián)
網(wǎng)頁URL：http://m.rwnh.cn/article8/djieop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、全網(wǎng)營銷推廣、網(wǎng)站制作、虛擬主機(jī)、關(guān)鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)