中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

成都網(wǎng)站建設(shè)3分鐘帶你快速了解robot文件

2023-03-08    分類: 網(wǎng)站建設(shè)

假設(shè)您以了解一下名詞含義:搜索引擎,spider(搜索引擎蜘蛛),死鏈接,權(quán)重,網(wǎng)站排名
何為Robots協(xié)議?
Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范,基于以下原則建立:
1、搜索技術(shù)應(yīng)服務(wù)于人類,同時尊重信息提供者的意愿,并維護其隱私權(quán);
2、網(wǎng)站有義務(wù)保護其使用者的個人信息和隱私不被侵犯。
何為robot文件?
robots.txt是限制搜索引擎spider(或稱為蜘蛛)收錄或爬取您網(wǎng)站內(nèi)容的一種文件。搜索引擎蜘蛛在網(wǎng)站中第一個訪問的文件就是robot文件,當然,也可以沒有robot文件,不過spider會訪問您的網(wǎng)站的所有頁面。
robot文件有何作用?
屏蔽您網(wǎng)站的死鏈接,限制spider爬取您的網(wǎng)站內(nèi)容,保護您網(wǎng)站的隱私內(nèi)容。例如您的后臺目錄,或者存有您個人信息的頁面或目錄。
如果您網(wǎng)站的重復(fù)頁面或死鏈接過多,搜索引擎蜘蛛會認為您的網(wǎng)站不行,價值較低,就會降低您網(wǎng)站的權(quán)重,網(wǎng)站排名就會下降,如果創(chuàng)建了robot文件并寫入了相應(yīng)的規(guī)則,那么搜索引擎蜘蛛就不會爬取您限制的頁面,您網(wǎng)站的權(quán)重與排名也就不會降低了。
如何構(gòu)建robot文件
robot文件也沒什么特殊的地方,就是一文本文件(txt)。新建一個文本文件,然后重命名為robots并在此文件中編寫相應(yīng)的規(guī)則,最后上傳到網(wǎng)站跟目錄就行了,注意一定要放置到跟目錄且文件名一定要小寫,不然就失效了。
如何編寫robot文件規(guī)則?
或許您沒有太多的時間來了解并學會robot文件規(guī)則,那么您可以生成robot文件規(guī)則,當然,您需要一定的英語基礎(chǔ),并了解特定的名詞。假設(shè)您有時間來學習的話,就往下看下面的規(guī)則。
現(xiàn)假設(shè)一個robot文件里面規(guī)則有:
User-agent: *
Disallow: /admin/
Disallow: /user/
規(guī)則解讀為:所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。
現(xiàn)在你可能就明白了,user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱,*為全部限制,baiduspider為限制百度搜索引擎蜘蛛不可以訪問。
disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。

注意,不管你有多少個disallow,只要有一個后面為空或者只有一個/符號的,就是所以目錄都可以訪問。符號一定是英文符號。

robot文件只是一種規(guī)則,并不是強制約束搜索引擎蜘蛛,需要搜索引擎蜘蛛配合才有用,有些spider會不顧您的robot文件,擅自訪問您的限制頁面。不過,就目前而且,大部分spider是遵守的robots.txt規(guī)則的。

分享題目:成都網(wǎng)站建設(shè)3分鐘帶你快速了解robot文件
網(wǎng)頁路徑:http://m.rwnh.cn/news1/242551.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián),是專注品牌與效果的網(wǎng)站制作,網(wǎng)絡(luò)營銷seo公司;服務(wù)項目有網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)
双柏县| 明溪县| 海城市| 上栗县| 丹巴县| 桂平市| 盖州市| 齐齐哈尔市| 桐柏县| 石阡县| 揭东县| 衡东县| 库尔勒市| 普兰店市| 稷山县| 东安县| 郓城县| 平远县| 沙河市| 湛江市| 罗田县| 万安县| 都江堰市| 泸西县| 利川市| 彩票| 宁河县| 澄江县| 绿春县| 合作市| 铁力市| 达拉特旗| 石嘴山市| 桂阳县| 乐山市| 庄河市| 科技| 景德镇市| 乌鲁木齐市| 卓尼县| 阿勒泰市|