2024-01-24 分類: 網(wǎng)站建設(shè)
搜索引擎robots.txt規(guī)則,是放置在網(wǎng)站根目錄下robots.txt文本文件,在文件中可以設(shè)定搜索引擎蜘蛛爬行規(guī)則。設(shè)置搜索引擎蜘蛛Spider抓取內(nèi)容規(guī)則。
首先要?jiǎng)?chuàng)建一個(gè)robots.txt文本文件,放置網(wǎng)站的根目錄下,下面就開始編輯設(shè)置robots.txt協(xié)議文件:
①robots.txt允許所有搜索引擎蜘蛛抓取所以目錄文件,如果文件無內(nèi)容,也表示允許所有的蜘蛛訪問,設(shè)置代碼如下:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
②robots.txt禁止某個(gè)搜索引擎蜘蛛抓取目錄文件,設(shè)置代碼如下:
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就設(shè)為,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更換蜘蛛名字即可,其他蜘蛛名字如下:
百度的蜘蛛:baiduspider
Google的蜘蛛: Googlebot
騰訊Soso:Sosospider
Yahoo的蜘蛛:Yahoo Slurp
Msn的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)
③robots.txt禁止某個(gè)目錄被搜索引擎蜘蛛抓取,設(shè)置代碼如下:
User-agent: *
Disallow: /目錄名字1/
Disallow: /目錄名字2/
Disallow: /目錄名字3/
把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取,目錄名字未寫表示可以被搜索引擎抓取。
④robots.txt禁止某個(gè)目錄被某個(gè)搜索引擎蜘蛛抓取,設(shè)置代碼如下:
User-agent: 搜索引擎蜘蛛名字說明(上面有說明蜘蛛的名字)
Disallow: /目錄名字/說明(這里設(shè)定禁止蜘蛛抓取的目錄名稱)
例如,想禁目Msn蜘蛛抓取admin文件夾,可以設(shè)代碼如下:
User-agent: Msnbot
Disallow: /admin/
⑤robots.txt設(shè)定某種類型文件禁止被某個(gè)搜索引擎蜘蛛抓取,設(shè)置代碼如下:
User-agent: *
Disallow: /*.htm說明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”為后綴的文件)⑥r(nóng)obots.txt充許所有搜索引擎蜘蛛訪問以某個(gè)擴(kuò)展名為后綴的網(wǎng)頁地址被抓取,設(shè)置代碼如下:User-agent: *
Allow: .htm$說明(其中“.htm”,表示充許搜索引擎蜘蛛抓取所有“htm”為后綴的文件)
⑦robots.txt只充許某個(gè)搜索引擎蜘蛛抓取目錄文件,設(shè)置代碼如下:
User-agent: 搜索引擎蜘蛛名字說明(上面有說明蜘蛛的名字)
Disallow:
網(wǎng)頁名稱:詳談robots.txt寫法規(guī)則
網(wǎng)頁路徑:http://m.rwnh.cn/news10/315210.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供微信小程序、網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)公司、關(guān)鍵詞優(yōu)化、電子商務(wù)、網(wǎng)站內(nèi)鏈
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容