2022-06-19 分類: 網(wǎng)站建設(shè)
robots.txt是一個(gè)純文本文件,是搜索引擎訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。每個(gè)站點(diǎn)最好建立一個(gè)robots.txt文件,對網(wǎng)站SEO優(yōu)化有很很好的作用。
每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時(shí),服務(wù)器將在日志中記錄一條404錯(cuò)誤,所以你應(yīng)該在網(wǎng)站中添加一個(gè)robots.txt(即使這個(gè)robots.txt文件只是一個(gè)空文件)。
robots.txt的寫法(語法)
1)User-agent: 該項(xiàng)的值用于描述搜索引擎蜘蛛的名字。如果該項(xiàng)的值設(shè)為*,則該協(xié)議對任何機(jī)器人均有效。
2)Disallow: 該項(xiàng)的值用于描述不希望被訪問到的一個(gè)URL,一個(gè)目錄或者整個(gè)網(wǎng)站。以Disallow開頭的URL 均不會(huì)被搜索引擎蜘蛛訪問到。任何一條Disallow記錄為空,說明該網(wǎng)站的所有部分都允許被訪問。
3)用法舉例:
網(wǎng)站目錄下所有文件均能被所有搜索引擎蜘蛛訪問
User-agent: *
Disallow:
禁止所有搜索引擎蜘蛛訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
禁止所有的搜索引擎蜘蛛訪問網(wǎng)站的幾個(gè)目錄
User-agent: *
Disallow: /a/
Disallow: /b/
禁止搜索引擎蜘蛛訪問目錄a和目錄b
User-agent: Googlebot
Disallow:
只允許某個(gè)搜索引擎蜘蛛訪問
您應(yīng)該限制網(wǎng)站某些文件不被蜘蛛抓取。
一般網(wǎng)站中不需要蜘蛛抓取的文件有:后臺管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。
分享標(biāo)題:robots.txt文件是什么?robots.txt的寫法
標(biāo)題網(wǎng)址:http://m.rwnh.cn/news34/169034.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供商城網(wǎng)站、營銷型網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、手機(jī)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)公司、做網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容