網(wǎng)站用robots文件禁止抓取還會被索引收錄嗎
2023-04-11 分類： 網(wǎng)站建設
SEO的一些基礎上的東西總是容易被人忽略，比方說robots文件。之前的文章有多次提到過這份文件的重要性，網(wǎng)站優(yōu)化診斷的其中一項就是檢查有無做這份文件，是否規(guī)范。之前的文章有提到過這么一句：如果網(wǎng)站的robots協(xié)議文件禁止了搜索引擎蜘蛛，那么無論你怎么優(yōu)化都不會被收錄。
趁著寫這篇文章，給這句話做個糾正，請大家認真閱讀并且理解。如下：
如果你的網(wǎng)站添加了robots協(xié)議文件，并且設置了禁止搜索引擎蜘蛛的指令，那么你的網(wǎng)站內容將不會被抓取，但有可能會被收錄（索引）。
有些人可能會有疑問，搜索引擎蜘蛛爬行url頁面，頁面需要有內容呈現(xiàn)出來反饋給到蜘蛛，才有可能會被收錄。那么，如果內容都被禁止了還會被收錄嗎？這是什么意思呢？這個問題這里先不解釋，大家先看看下面的圖片吧。
如圖所示，以上是site淘寶域名出現(xiàn)被收錄的結果。從site結果里面可以清楚的看到，這里收錄了很多淘寶網(wǎng)站的頁面，顯示收錄結果為2億6159萬個頁面。但是大家不知道有沒有發(fā)現(xiàn)一個問題，這些頁面抓取的描述內容都是提示了這樣一段文字：由于該網(wǎng)站的robots.txt文件存在限制指令（限制搜索引擎抓?。?，系統(tǒng)無法提供該頁面的內容描述。
robots禁止搜索引擎蜘蛛后為什么會被收錄呢？
這里有個認知上的錯誤，也可能是慣性邏輯思維的錯誤思考。大家都認為蜘蛛不能抓取內容就不會收錄，實際上爬行、抓取、索引（收錄）是不同的概念。很多人學習SEO的時候，經(jīng)常性的對一些SEO的概念混肴不清，導致在后面的SEO優(yōu)化過程當中并不能發(fā)揮出很好的效果。
還是先來說說robots協(xié)議到底是在做什么？既然是協(xié)議，那肯定是雙方同意、認可的規(guī)矩。這個甲乙自然就是網(wǎng)站和搜索引擎（或者說搜索引擎蜘蛛）之間的協(xié)議。robots文件會放在根目錄下，蜘蛛進入網(wǎng)站會第一時間訪問這個文件，然后看看協(xié)議里面有沒有禁止了那些頁面不能抓取，如果禁止了就不會再去抓取。
一個頁面想要去搜索引擎索引（收錄），收錄要有蜘蛛爬行和抓取，既然不抓取，理所當然的就會被認為這個頁面是不會被收錄。這樣的思維是錯誤的，不抓取也是可以被索引（收錄）。如淘寶就是一個典型的案例，網(wǎng)站添加了禁止協(xié)議，最后還是被收錄。原因在于，百度從其它渠道平臺推薦的外部鏈接了解到這個網(wǎng)站，雖然被禁止抓取，但從標題和推薦鏈接的數(shù)據(jù)里還是可以判斷出與該頁面相應的內容信息。
網(wǎng)站標題：網(wǎng)站用robots文件禁止抓取還會被索引收錄嗎
地址分享：http://m.rwnh.cn/news27/253177.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、商城網(wǎng)站、外貿建站、品牌網(wǎng)站設計、虛擬主機、網(wǎng)站設計
聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容
- 企業(yè)新網(wǎng)站SEO優(yōu)化需避免哪些雷區(qū)? 2023-04-11
- 網(wǎng)站優(yōu)化的標準及要求 2023-04-11
- 企業(yè)應該從產品營銷匹配角度考慮選擇seo優(yōu)化還是關鍵詞廣告 2023-04-11
- 為大家分析什么因素導致網(wǎng)站排名急劇下降呢 2023-04-11
- 網(wǎng)站外包選擇依據(jù)是什么? 2023-04-11
- 關于八爪魚的偽原創(chuàng)采集器的正確使用方法 2023-04-11
- 網(wǎng)站站外SEO9應該怎么做？ 2023-04-11
- 網(wǎng)站權重高有優(yōu)勢嗎？ 2023-04-11
- 個人網(wǎng)站制作如何凸顯差異化? 2023-04-11
- 企業(yè)網(wǎng)絡推廣如何提高網(wǎng)站的權重? 2023-04-11
- 分析網(wǎng)站降權原因及解決方式 2023-04-11
- SEO技術之SEO優(yōu)化的8大誤區(qū) 2023-04-11
- 建站前先對為網(wǎng)站功能進行分析 2023-04-11
- 企業(yè)微博運營全攻略—推廣篇 2023-04-11
- 網(wǎng)站seo優(yōu)化排名與哪些因素有關 2023-04-11
- 企業(yè)網(wǎng)站如何提升權重?有哪些技巧和方法? 2023-04-11
- 成都網(wǎng)絡推廣都有哪些注意事項? 2023-04-11
- 網(wǎng)站結構如何更好進行優(yōu)化 2023-04-11
- 如何通過網(wǎng)站優(yōu)化來優(yōu)化網(wǎng)頁排名? 2023-04-11