2021-08-13 分類: 網(wǎng)站建設(shè)
很對(duì)站長(zhǎng)朋友在對(duì)網(wǎng)站開始進(jìn)行優(yōu)化之前,會(huì)忽略非常重要的一點(diǎn),就是網(wǎng)站上的robots文件,robots文件的作用是告訴搜索引擎蜘蛛,這個(gè)網(wǎng)站上什么內(nèi)容是可以抓取的,哪些內(nèi)容是禁止抓取的。當(dāng)robots文件制作完成之后,放在網(wǎng)站ftp的跟目錄之下,就搞定了。那么,robots文件里寫的各種內(nèi)容,都是代表了什么樣的含義呢?下面我們就來了解一下吧!
User-agent禁止訪問抓取系列:
User-agent:*
這里的*好是通配符,意指所有的搜索引擎都可以抓取,包括百度、搜狗、360等等
Disallow:/
意思是禁止蜘蛛抓取該網(wǎng)站的任何目錄
Disallow:/123
意思是禁止蜘蛛抓取該網(wǎng)站的123以及123層級(jí)之下的所有內(nèi)容
Disallow:/123/
意思是禁止蜘蛛抓取123層級(jí)之下的所有內(nèi)容,但是可以抓取123頁(yè)面的內(nèi)容
Disallow:/*.png
意思是禁止蜘蛛抓取網(wǎng)站上所有png格式的圖片,想要禁止抓取其它格式也是這樣書寫,比如想要禁止抓取網(wǎng)站jpg格式的圖片,書寫方式為Disallow:/*.jpg
Disallow:/123/*.png
禁止蜘蛛訪問123層次下的png圖片,其他格式也是同樣的書寫方式
Disallow:/*?*
禁止蜘蛛抓取網(wǎng)站上所有的動(dòng)態(tài)url頁(yè)面
Disallow:/123/*?*
禁止蜘蛛抓取網(wǎng)站上123目錄下的所有動(dòng)態(tài)頁(yè)面,不影響抓取網(wǎng)站123目錄中的其它內(nèi)容
allow允許抓取訪問系列:
allow的意思是允許蜘蛛訪問抓取的意思,在寫robots文件的時(shí)候一定要注意一件事,就是在書寫的時(shí)候,一定要將allow放在disallow前面,才能不受disallow的影響,其它的寫法參考disallow的書寫方式,這里就不湊字?jǐn)?shù)了。
有一點(diǎn)注意事項(xiàng),大家在使用的時(shí)候一定要注意,robots.txt文件名稱一定要小寫的,不要大寫。有了完整的robots文件,搜索引擎在抓取的時(shí)候才會(huì)更加的方便,利于對(duì)網(wǎng)站的提升。
名稱欄目:robots文件代表了什么樣的含義呢
文章URL:http://m.rwnh.cn/news17/121967.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計(jì)公司、關(guān)鍵詞優(yōu)化、外貿(mào)建站、搜索引擎優(yōu)化、網(wǎng)站導(dǎo)航
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容