中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

成都網(wǎng)站建設(shè)3分鐘帶你快速了解robot文件

假設(shè)您以了解一下名詞含義:搜索引擎,spider(搜索引擎蜘蛛),死鏈接,權(quán)重,網(wǎng)站排名

何為Robots協(xié)議?

Robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范,基于以下原則建立:

1、搜索技術(shù)應(yīng)服務(wù)于人類,同時(shí)尊重信息提供者的意愿,并維護(hù)其隱私權(quán);

2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。

何為robot文件?

robots.txt是限制搜索引擎spider(或稱為蜘蛛)收錄或爬取您網(wǎng)站內(nèi)容的一種文件。搜索引擎蜘蛛在網(wǎng)站中第一個(gè)訪問的文件就是robot文件,當(dāng)然,也可以沒有robot文件,不過spider會(huì)訪問您的網(wǎng)站的所有頁面。

robot文件有何作用?

屏蔽您網(wǎng)站的死鏈接,限制spider爬取您的網(wǎng)站內(nèi)容,保護(hù)您網(wǎng)站的隱私內(nèi)容。例如您的后臺(tái)目錄,或者存有您個(gè)人信息的頁面或目錄。

如果您網(wǎng)站的重復(fù)頁面或死鏈接過多,搜索引擎蜘蛛會(huì)認(rèn)為您的網(wǎng)站不行,價(jià)值較低,就會(huì)降低您網(wǎng)站的權(quán)重,網(wǎng)站排名就會(huì)下降,如果創(chuàng)建了robot文件并寫入了相應(yīng)的規(guī)則,那么搜索引擎蜘蛛就不會(huì)爬取您限制的頁面,您網(wǎng)站的權(quán)重與排名也就不會(huì)降低了。

如何構(gòu)建robot文件

robot文件也沒什么特殊的地方,就是一文本文件(txt)。新建一個(gè)文本文件,然后重命名為robots并在此文件中編寫相應(yīng)的規(guī)則,最后上傳到網(wǎng)站跟目錄就行了,注意一定要放置到跟目錄且文件名一定要小寫,不然就失效了。

如何編寫robot文件規(guī)則?

或許您沒有太多的時(shí)間來了解并學(xué)會(huì)robot文件規(guī)則,那么您可以生成robot文件規(guī)則,當(dāng)然,您需要一定的英語基礎(chǔ),并了解特定的名詞。假設(shè)您有時(shí)間來學(xué)習(xí)的話,就往下看下面的規(guī)則。

現(xiàn)假設(shè)一個(gè)robot文件里面規(guī)則有:

User-agent: *

Disallow: /admin/

Disallow: /user/

規(guī)則解讀為:所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。

現(xiàn)在你可能就明白了,user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱,*為全部限制,baiduspider為限制百度搜索引擎蜘蛛不可以訪問。

disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。

注意,不管你有多少個(gè)disallow,只要有一個(gè)后面為空或者只有一個(gè)/符號(hào)的,就是所以目錄都

本文題目:成都網(wǎng)站建設(shè)3分鐘帶你快速了解robot文件
文章源于:http://m.rwnh.cn/article38/sjssp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站內(nèi)鏈、商城網(wǎng)站營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)公司關(guān)鍵詞優(yōu)化、云服務(wù)器

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司
四子王旗| 涟源市| 肥乡县| 杭锦后旗| 满洲里市| 邵武市| 商南县| 新闻| 科技| 蕉岭县| 德兴市| 高邑县| 婺源县| 高唐县| 晋城| 宁化县| 芮城县| 昭觉县| 那坡县| 汉寿县| 永寿县| 赣州市| 龙口市| 房产| 长海县| 内江市| 外汇| 长岭县| 合江县| 靖江市| 辽源市| 正宁县| 临湘市| 林芝县| 彰化市| 招远市| 静宁县| 理塘县| 宜城市| 平谷区| 锦屏县|