如果把運維看做是醫(yī)生給病人看病,則日志就是病人對自己的陳述,很多時候醫(yī)生需要通過對病人的描述中得出病人狀況,是否嚴重,需要什么計量的藥,什么類型的藥。所以古人有句話叫對癥下藥,這個癥就是病人的描述加醫(yī)生的判斷,在重一點的病在加上很多的化驗。在醫(yī)生看病時病人的描述和化驗單上的數(shù)據(jù)對醫(yī)生是非常重要的。同理日志在運維中的作用也是類似的,但非常不幸,日志在很多運維中被嚴重低估,直到磁盤空間不足的時候才想到,這有個大的日志文件把他刪了,這樣可以節(jié)省空間。
成都創(chuàng)新互聯(lián)公司專注于企業(yè)營銷型網站、網站重做改版、陜州網站定制設計、自適應品牌網站建設、H5網站設計、商城網站定制開發(fā)、集團公司官網建設、外貿網站制作、高端網站制作、響應式網頁設計等建站業(yè)務,價格優(yōu)惠性價比高,為陜州等各大城市提供網站開發(fā)制作服務。
從上面圖可以看出,運維中關注的點還是非常多的,任何一個點都有可能引起運維中的問題。所以大多數(shù)的運維人員狀態(tài)都是消防員救火的角色,哪里有問題哪里去。
下面我們來看一下常用的監(jiān)控系統(tǒng),界面做的很漂亮,功能也很多,但是有個疑問就是你會天天盯著這個界面看嗎?我感覺絕大多數(shù)人不會,很多人關注的是異常點,就是當系統(tǒng)有問題的時候,你告訴我哪里有問題,然后我在根據(jù)問題去分析,去處理,當然做處理的時候,這個系統(tǒng)就會用上了。
那上面這些內容和日志有什么關系呢?
日志本身是沒有價值的,只有對日志進行分析加以利用的時候才會有價值,日志中包含非常多的有用的信息,不光包括運維層面,還包括業(yè)務層面,安全層面。很多時候運維需要的是一個統(tǒng)一告警平臺,但告警的依據(jù)絕大多少是對日志等進行自動化的分析得出的結論,所以說日志是很重要的。
簡單地說,日志就是計算機系統(tǒng)、設備、軟件等在某種情況下記錄的信息。具體的內容取決于日志的來源。例如,Unix操作系統(tǒng)會記錄用戶登錄和注銷的消息,防火墻將記錄ACL通過和拒絕的消息,磁盤存儲系統(tǒng)在故障發(fā)生或者在某些系統(tǒng)認為將會發(fā)生故障的情況下生成日志信息。日志中有大量信息,這些信息告訴你為什么需要生成日志,系統(tǒng)已經發(fā)生了什么。例如,Web 同理cc***就更容易理解了,同一個ip在很短的時間內訪問了大量的請求,基本上可以認為是cc***。其他的webshell,sql注入等也可以從日志中分析出部分來,但不是太準確,因為日志中指記錄get請求的參數(shù),post參數(shù)正常是不記錄的。 從上面的分析中可以得知,日志中還是有很多寶貴的東西在里面,只是我們沒有發(fā)現(xiàn)。 一般日志分析中主要包括以下幾個層面,首先是收集日志,然后對日志進行格式化分析,然后進行過濾或者歸并,然后對日志進行告警分析,然后入庫。 收集主要就是對各種協(xié)議的支持,例如syslog,sftp等。 格式化分析是重點,畢竟每種日志的格式不一樣。舉個例子:下圖是一個pix防火墻和ids的日志,通過這對原始日志雜亂無序的內容分析出有意義的維度。通過這些維度后我們得出很多有價值的信息,比如操作系統(tǒng),協(xié)議等等。 日志分析 日志分析中有關鍵字分析,統(tǒng)計分析和關聯(lián)分析。 關鍵字分析就是針對日志中的關鍵字進行分析。 統(tǒng)計分析是根據(jù)一段時間根據(jù)某種規(guī)律進行分析。 關聯(lián)分析用于在海量審計信息中找出異構異源[異構是什么意思]事件信息之間的關系,對于存在關聯(lián)關系信息的上下文制定合理的審計策略,通過組合判斷多個異構事件判斷操作行為性質,發(fā)掘隱藏的相關性,發(fā)現(xiàn)可能存在的違規(guī)行為。 這些東西本身很復雜,如果都要從頭做工作量很大。當然市場上也有很多比較好的產品支持此功能。比如HP ArcSight,IBM Security QRadar SIEM 等等,但是這些產品都是非常昂貴的產品,有沒有可以免費使用的產品呢?有:比如國外的elk,ossim.國產的SeciLog。這幾個產品各有優(yōu)缺點,看大家自己選擇了。elk是一個半成品,自己要使用需要做大量的工作,ossim,相對是成品,但是漢化還是不是太好,這兩個國外產品對國內使用者的習慣還不是太好。Secilog相對平衡一點。Secilog的特點是支持syslog、snmp、jdbc、ftp/sftp等協(xié)議收集或者采集日志。對日志進行分析,格式化處理,產生告警,同時對原始日志和格式化后的日志進行全文搜索索引的存儲,支持采集橫向擴展集群,支持海量日志的分析和查詢。可以分析linux日志、windows日志、防火墻日志ids日志、業(yè)務日志等日志,支持所有文本類型的日志存儲和查詢,內置16種告警:密碼猜測***,非上班時間登錄,非上班地點登錄,賬號猜測***,密碼猜測***成功,敏感文件操作,高危命令操作,主機掃描,端口掃描,非法外聯(lián),sql注入,Xss***,非法訪問,敏感文件訪問,WebShell***,Cc***。通過告警規(guī)則的設定,很容易的增加其他告警。同時系統(tǒng)通過告警規(guī)則配置可以支持業(yè)務告警,接口請求異常,惡意刷單,大單告警等。 很高興你能看完,希望對你有用。
分享名稱:運維中被低估的日志
成都網站建設公司_創(chuàng)新互聯(lián),為您提供網站收錄、外貿網站建設、云服務器、電子商務、定制開發(fā)、微信小程序
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源:
創(chuàng)新互聯(lián)
如何分析日志
轉載注明:http://m.rwnh.cn/article32/jepdpc.html