通過網(wǎng)站日志分析網(wǎng)站是SEO工作者每天必備的工作內(nèi)容，無論是服務(wù)器的IIS日志還是主機(jī)空間的Apache日志，都記錄著來訪者的信息、用戶和搜索引擎蜘蛛對網(wǎng)站的訪問行為。所以網(wǎng)站日志對每個網(wǎng)站優(yōu)化者非常的重要，這點同時也可方便網(wǎng)站優(yōu)化人員查看網(wǎng)站的具體情況。

我們通過分析查看網(wǎng)站日志可以讓我們了解網(wǎng)站的死鏈接，301，202等等，可讓我們知道網(wǎng)站哪些鏈接是搜索引擎經(jīng)常爬取的，每天那些頁面是被搜索引擎爬取過，可以分析出網(wǎng)站是否被降權(quán)、哪些頁面被收錄等等，今天，就跟大家分享一下如何查看分析網(wǎng)站日志。

什么是網(wǎng)站日志文件分析？

日志文件分析是從服務(wù)器下載日志文件并通過SEO日志文件分析工具打開日志文件的過程。通過日志文件分析工具，你可以查看有關(guān)網(wǎng)站“點擊率”的所有信息 – 包括機(jī)器人和人工點擊，以幫助你制定明智有效的SEO策略，將你的網(wǎng)站帶到百度搜索引擎結(jié)果頁面的第一頁。

雖然日志文件分析是一項艱巨的任務(wù)，但它大大幫助SEO專家找到并發(fā)現(xiàn)了以任何其他方式無法找到的重要技術(shù)SEO問題。對于我們了解搜索引擎抓取工具如何在其網(wǎng)站內(nèi)移動以及它們在數(shù)據(jù)庫中存儲的具體信息，日志文件包含的數(shù)據(jù)對于網(wǎng)站管理員和搜索引擎優(yōu)化是準(zhǔn)確，有用和重要的。但是，在我們進(jìn)入分析日志文件的整個過程之前，我們必須首先了解所使用的日志類型。

日志文件類型

最常見的日志有3種類型。最常見的是Apache。其他日志包括彈性負(fù)載平衡和W3C。最后一種類型是自定義日志文件，通?？捎糜谳^大的站點。因此，在了解了類型后，這些日志文件是什么樣的？

它們通常由5部分組成：

首先是抓取工具訪問過的網(wǎng)頁的網(wǎng)址。

第二個是時間戳 – 抓取工具發(fā)出請求的日期和時間。

第三個是遠(yuǎn)程主機(jī)或IP地址

他們訪問過的頁面的響應(yīng)/狀態(tài)代碼。

最后，用戶代理。對于我們的SEO，最重要的用戶代理是Baiduspider、Googlebot之類的蜘蛛機(jī)器人。

網(wǎng)站日志文件如何查看？

網(wǎng)站放在服務(wù)器使用的是寶塔面板可以通過寶塔控制面板進(jìn)入-文件根目錄去下載查看網(wǎng)站日志文件（如圖①），如果用的是空間也可以通過FTP（如圖②）進(jìn)入下載日志文件。

網(wǎng)站日志如何分析？

當(dāng)我們知道了網(wǎng)站日志的具體位置，我們就可以去下載分析網(wǎng)站日志了，那么，我們該如何分析網(wǎng)站日志呢？

1、如何查看網(wǎng)站日志信息

網(wǎng)站日志通常都可以用日志分析工具去大概的查一查，工具都會大概的呈現(xiàn)一些簡單信息給我們，不會把詳細(xì)的信息給我們，工具分析只是簡單的告訴我們一個大概，下面我們就舉例一條網(wǎng)站日志信息分析看下圖:

我們下面可以對這段日志進(jìn)行分析。

110.85.5.77 是搜索引擎蜘蛛的IP；

[06/Jun/2018:17:38:56 +0800] 表示的是時間；

GET是網(wǎng)站請求內(nèi)容（post是上傳內(nèi)容）；

HTTP/1.1 http協(xié)議是1.1版本；

200 是訪問成功的返回代碼；

Baiduspider/2.0是百度的蜘蛛；

Mozilla/5.0 ?是訪問的客戶端瀏覽器、操作系統(tǒng)。

連在一起就是2018.06.06的下午5點38分56秒的時候一個通過Mozilla/5.0系統(tǒng)瀏覽器的蜘蛛進(jìn)入網(wǎng)站成功訪問并下載了5816B的數(shù)據(jù)。

2、用excel表格分析網(wǎng)站日志

①先打開WPS表格，點擊數(shù)據(jù)，導(dǎo)入數(shù)據(jù)。

②選擇數(shù)據(jù)源（注意選擇所有文件），選擇之前的網(wǎng)站日志文本。

③選擇下一步，然后選擇“分割符號”再點擊下一步，勾選空格再點下一步、下一步就完成了。

④網(wǎng)站的日志就這樣用wps表格拆分出來，之后自己再調(diào)整一下表格內(nèi)容的名字分類，就可以看到如下圖所示了。

如上制作出的表格，我們可以更方便的分析網(wǎng)站的日志。我們可以通過表格標(biāo)注我們想要知道的參數(shù)，刪除和隱藏?zé)o關(guān)項的參數(shù)，然和使用篩選功能去進(jìn)一步分析，通過IP篩選發(fā)現(xiàn)異常IP頻繁訪問我們的頁面，我們可以利用命令在.htaccess文件中使用（Order Deny,AllowDeny from X.X.X.X）禁止不讓其再次訪問我們網(wǎng)站；通過狀態(tài)碼篩選發(fā)現(xiàn)是否有死鏈、錯誤鏈接（404），是否有服務(wù)器抓取異常問題（5xx），進(jìn)而來了解蜘蛛對我們網(wǎng)站的抓取情況，抓取了哪些頁面。

日志文件分析作用

日志文件分析的主要目標(biāo)之一是幫助你了解有關(guān)蜘蛛的更多信息并優(yōu)化你的抓取預(yù)算和頁面優(yōu)化。在抓取預(yù)算時，這是指搜索引擎將其網(wǎng)站抓取到你的網(wǎng)站的次數(shù)。以下是使其適用于你并建立更有效的SEO過程的方法：

評估時間范圍，速度，資源和流量頻率

頁面流量是我們在評估SEO策略時始終跟蹤的常量統(tǒng)計數(shù)據(jù)之一。這意味著檢查流量頻率，當(dāng)發(fā)布新內(nèi)容時往往更加明顯，導(dǎo)致蜘蛛更頻繁地執(zhí)行網(wǎng)站抓取。這意味著要考慮蜘蛛執(zhí)行其操作的具體時間范圍。查看幾個月，幾周和幾天將有助于你查看網(wǎng)站爬網(wǎng)，從而可以在創(chuàng)建好策略時利用它。

專注于移動

移動搜索已成為SEO中最重要的元素之一。隨著移動互聯(lián)網(wǎng)越來越容易被廣大受眾所接受，利用這種流量非常重要。這意味著為移動用戶優(yōu)化你的網(wǎng)站，包括允許響應(yīng)式設(shè)計和AMP，從而實現(xiàn)更好的查看和更快的加載速度。搜索引擎速度更新還意味著移動加載速度現(xiàn)在是排名因素，這意味著蜘蛛可能會將你的移動性能考慮在內(nèi)。

優(yōu)化導(dǎo)航

通過導(dǎo)航，你不僅可以瀏覽所有網(wǎng)頁，還可以讓蜘蛛進(jìn)行網(wǎng)站抓取。內(nèi)部鏈接允許抓取這些網(wǎng)頁，使其顯示在搜索中并獲得更多流量。確保與以前的許多文章進(jìn)行內(nèi)部鏈接，這一過程為我們提供了更多流量到達(dá)我們的網(wǎng)站，讓更多人看到我們的內(nèi)容。

評估頁面錯誤

監(jiān)控站點爬網(wǎng)還允許你查找未響應(yīng)或具有相應(yīng)301,400或500錯誤的頁面。這些頁面中的每一頁都值得一看，因為你需要重定向并修復(fù)它們才能讓蜘蛛抓取到正確的位置。找到它們還會就如何解決這些問題提出更多問題，因為清理它只會為你的網(wǎng)站流量帶來更多好處，讓你的SEO策略更有效地生效。

從索引中刪除頁面

從索引中刪除網(wǎng)頁并刪除重復(fù)內(nèi)容有助于你的抓取預(yù)算，因為它可以優(yōu)化導(dǎo)航，從而可以將用戶引導(dǎo)到正確的位置。這也可以幫助你找到丟失的內(nèi)容，允許這些錯過的網(wǎng)頁獲得更多流量，從而導(dǎo)致蜘蛛進(jìn)行抓取。