中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

網(wǎng)站制作robots協(xié)議應(yīng)該遵守么?

2013-04-26    分類: 網(wǎng)站制作

前些年,網(wǎng)站建設(shè)行業(yè)的程序猿們肯定有聽說過robots協(xié)議,而且360與百度兩大搜索引擎關(guān)于“robots”協(xié)議也一直存在爭議,百度這邊呢,指責360違反商業(yè)道德,不遵守“robots協(xié)議”,而360又認為百度利用該協(xié)議作為不正當競爭的工具,想要壟斷整個搜索引擎市場。那么究竟robots協(xié)議功能是什么?有什么功能?那就跟隨成都創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司一起來了解下吧!

首先,robots協(xié)議全稱是Robots Exclusion Protocol,翻譯過來是機器人排除協(xié)議,又稱為爬蟲協(xié)議、機器人協(xié)議,是指網(wǎng)站所有者通過一個置于網(wǎng)站根目錄下的文本文件,即robots.txt,提示搜索引擎的網(wǎng)絡(luò)機器人哪些網(wǎng)頁不應(yīng)被抓取,哪些網(wǎng)頁可以抓取。從本質(zhì)上來說,robots協(xié)議是受訪網(wǎng)站與搜索引擎之間的一種交互方式。

網(wǎng)站制作

如果把網(wǎng)站比作一個對公眾開放的博物館,robots協(xié)議就相當于在博物館入口處懸掛的提示牌,告知游客哪些區(qū)域不對游客開放,如:“本館三樓301-302室為展品儲藏室、四樓為辦公區(qū),謝絕參觀”。通常情況下,游客會根據(jù)提示牌的內(nèi)容,進行參觀游覽。提示牌本身沒有強制力,如果要防止游客擅自闖入不開放區(qū)域,最好的辦法是采取一些“技術(shù)措施”,如在辦公區(qū)外設(shè)置欄桿,在儲藏室門上加鎖等。博物館設(shè)置提示牌的目的是為了便于游客更好的參觀,提示牌的內(nèi)容對所有游客應(yīng)一視同仁。如果提示牌規(guī)定禁止某一類人參觀,則需要有合理、正當?shù)睦碛桑谌狈侠?、正當理由的情況下,禁止某一類人進入一個對公眾開放的博物館參觀顯然是不合理的。

從《互聯(lián)網(wǎng)搜索引擎自律公約》第七條、第八條的規(guī)定來看,其包含兩個層次的含義,一方面從搜索引擎的角度來說,必須遵守受訪網(wǎng)站的robots協(xié)議,不得隨意抓取,另一方面從受訪網(wǎng)站的角度來說,其設(shè)置robots協(xié)議的行為本身應(yīng)當具有行業(yè)公認合理的正當理由,不得利用robots協(xié)議進行不正當競爭行為。

而robots協(xié)議設(shè)置的初衷也正是如此,為了提示搜索引擎的網(wǎng)絡(luò)機器人更有效的抓取對網(wǎng)絡(luò)用戶有用的信息,從而更好的促進信息共享。但是對于robots協(xié)議存在的不正當競爭行為應(yīng)該加以限制,也只有這樣才可以維護市場環(huán)境的公平競爭,從而促進互聯(lián)網(wǎng)行業(yè)的發(fā)展。

網(wǎng)站欄目:網(wǎng)站制作robots協(xié)議應(yīng)該遵守么?
本文來源:http://m.rwnh.cn/news/767.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián),是專注品牌與效果的網(wǎng)站制作,網(wǎng)絡(luò)營銷seo公司;服務(wù)項目有網(wǎng)站制作

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設(shè)計
马尔康县| 怀集县| 大连市| 措美县| 额济纳旗| 出国| 饶平县| 荃湾区| 怀化市| 尤溪县| 崇阳县| 图木舒克市| 旺苍县| 板桥市| 棋牌| 阿勒泰市| 会理县| 白山市| 磴口县| 元江| 建瓯市| 咸阳市| 武山县| 买车| 阿图什市| 静宁县| 宁城县| 习水县| 南召县| 平湖市| 东方市| 桃江县| 达州市| 六枝特区| 同心县| 韶关市| 潮安县| 永德县| 清流县| 南召县| 繁峙县|