中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

最詳細(xì)的robots文件的寫(xiě)法解析(符合搜索需求)

2020-11-12    分類(lèi): 網(wǎng)站建設(shè)

做SEO的朋友基本都了解點(diǎn)robots,但是在實(shí)際SEO網(wǎng)站優(yōu)化中robots.txt文件具體應(yīng)該如何編寫(xiě)恐怕是一堆SEO的困擾,瞎寫(xiě),亂寫(xiě)robots規(guī)則直接影響網(wǎng)站優(yōu)化的成果。robots.txt文件具體要怎么寫(xiě)?今天創(chuàng)新互聯(lián)把最詳細(xì)的robots文件的寫(xiě)法告知大家。
robots.txt是什么

一、robots.txt文件它的作用是什么,為什么要寫(xiě)?


robots.txt是用來(lái)告訴搜索引擎網(wǎng)站上哪些內(nèi)容可以被訪(fǎng)問(wèn)、哪些不能被訪(fǎng)問(wèn)。當(dāng)搜索引擎訪(fǎng)問(wèn)一個(gè)網(wǎng)站的時(shí)候,它首先會(huì)檢查網(wǎng)站是否存在robots.txt,如果有則會(huì)根據(jù)文件命令訪(fǎng)問(wèn)有權(quán)限的文件。
每個(gè)網(wǎng)站需要根據(jù)自身的要求寫(xiě)好robots.txt文件,robots.txt文件長(zhǎng)什么樣子?我們可以看看幾個(gè)網(wǎng)站的robots.txt文件。
淘寶robots.txt文件

淘寶robots.txt文件

百度robots.txt文件

百度robots.txt文件

而一個(gè)網(wǎng)站為什么要寫(xiě)robots.txt,主要有四點(diǎn):

1、保護(hù)網(wǎng)站安全

2、節(jié)省流量

3、禁止搜索引擎收錄部分頁(yè)面

4、引導(dǎo)蜘蛛爬網(wǎng)站地圖

二、robots.txt的寫(xiě)法與步驟

1、定義搜索引擎

用User-agent:來(lái)定義搜索引擎,其中*表示所有,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。

也就是說(shuō)User-agent:*表示定義所有蜘蛛,User-agent:Baiduspider表示定義百度蜘蛛。
常用搜索蜘蛛規(guī)則分解如下:
User-agent: Baiduspider
User-agent: Baiduspider-image
User-Agent: Googlebot
User-agent: Bingbot
User-Agent: 360Spider
User-Agent: Yisouspider
User-Agent: Sogouspider
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: Sogou blog
User-agent: Sogou News Spider
User-agent: Sogou Orion spider
User-agent: ChinasoSpider
User-agent: Sosospider
User-Agent: Yahoo! Slurp
User-agent: MSNBot
User-agent: YoudaoBot
User-agent: EasouSpider

2、禁止與允許訪(fǎng)問(wèn)

Disallow: /表示禁止訪(fǎng)問(wèn),Allow: /表示允許訪(fǎng)問(wèn)。

在寫(xiě)robots.txt時(shí)需特別注意的是,/前面有一個(gè)英文狀態(tài)下的空格(必須是英文狀態(tài)下的空格)。

3、禁止搜索引擎訪(fǎng)問(wèn)網(wǎng)站中的某幾個(gè)文件夾,以a、b、c為例,寫(xiě)法分別如下:

Disallow: /a/

Disallow: /b/

Disallow: /c/

4、禁止搜索引擎訪(fǎng)問(wèn)文件夾中的某一類(lèi)文件,以a文件夾中的js文件為例,寫(xiě)法如下:

Disallow: /a/*.js

5、只允許某個(gè)搜索引擎訪(fǎng)問(wèn),以Baiduspider為例,寫(xiě)法如下:

User-agent: Baiduspider

Disallow:

6、禁止訪(fǎng)問(wèn)網(wǎng)站中的動(dòng)態(tài)頁(yè)面

User-agent: *

Disallow: /*?*

7、只允許搜索引擎訪(fǎng)問(wèn)某類(lèi)文件,以htm為例,寫(xiě)法如下:

User-agent: *

Allow: .htm$

Disallow: /

8、禁止某個(gè)搜索引擎抓取網(wǎng)站上的所有圖片,以Baiduspider為例,寫(xiě)法如下:

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

三、robots.txt文件存放位置

robots.txt文件存放在網(wǎng)站根目錄下,并且文件名所有字母都必須小寫(xiě)。

四、特別注意事項(xiàng)

在寫(xiě)robots.txt文件時(shí)語(yǔ)法一定要用對(duì),User-agent、Disallow、Allow、Sitemap這些詞都必須是個(gè)字母大寫(xiě),后面的字母小寫(xiě),而且在:后面必須帶一個(gè)英文字符下的空格。

網(wǎng)站上線(xiàn)之前切記寫(xiě)robots.txt文件禁止蜘蛛訪(fǎng)問(wèn)網(wǎng)站,如果不會(huì)寫(xiě)就先了解清楚寫(xiě)法之后再寫(xiě),以免給網(wǎng)站收錄帶來(lái)不必要的麻煩。

robots.txt文件生效時(shí)間在幾天至一個(gè)月之間,站長(zhǎng)自身無(wú)法控制。但是,站長(zhǎng)可以在百度統(tǒng)計(jì)中查看網(wǎng)站robots.txt文件是否生效。

本文標(biāo)題:最詳細(xì)的robots文件的寫(xiě)法解析(符合搜索需求)
當(dāng)前路徑:http://m.rwnh.cn/news45/89595.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作搜索引擎優(yōu)化、網(wǎng)站改版、小程序開(kāi)發(fā)靜態(tài)網(wǎng)站、全網(wǎng)營(yíng)銷(xiāo)推廣

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

營(yíng)銷(xiāo)型網(wǎng)站建設(shè)

網(wǎng)站建設(shè)知識(shí)

各行業(yè)網(wǎng)站

云和县| 泉州市| 宁都县| 湟中县| 平武县| 方山县| 江达县| 普格县| 孝昌县| 平果县| 都江堰市| 泾川县| 黄骅市| 杂多县| 巫溪县| 阆中市| 资兴市| 海安县| 舒兰市| 体育| 建水县| 航空| 南城县| 万州区| 山丹县| 湘乡市| 阿合奇县| 永修县| 碌曲县| 密云县| 嵩明县| 泰和县| 琼中| 湘阴县| 平塘县| 龙州县| 福鼎市| 满城县| 赤峰市| 民丰县| 冕宁县|