網(wǎng)站制作中關(guān)于網(wǎng)頁(yè)搜索引擎的禁止機(jī)制

2021-07-14 分類：網(wǎng)站制作

很多時(shí)候,一個(gè)網(wǎng)站的內(nèi)容并不希望被搜索引擎抓取并且呈現(xiàn)在搜索結(jié)果中,比如一個(gè)網(wǎng)站的后臺(tái)管理頁(yè)面,一些付費(fèi)頁(yè)面,登陸頁(yè)面等等.這個(gè)時(shí)候,大家在進(jìn)行網(wǎng)站制作的時(shí)候,就要學(xué)會(huì)適當(dāng)?shù)氖褂肦OBOTS文件或者M(jìn)ATE ROBOTS標(biāo)簽.

Robots文件的禁止機(jī)制

當(dāng)搜索引擎到了一個(gè)站點(diǎn)的時(shí)候,會(huì)先看看這個(gè)網(wǎng)站的根目錄下有沒有ROBOTS.TXT文件,這是一個(gè)文本文件.用來(lái)告訴搜索引擎這個(gè)網(wǎng)站里面的那些內(nèi)容或者是一些特定的部分不想被搜索引擎抓取,因?yàn)楹芏嗍菍?duì)排名沒有意義的頁(yè)面或者是一些牽涉到網(wǎng)站隱私的部分.如果沒有發(fā)現(xiàn)這個(gè)文件或者是里面的內(nèi)容為空,那么搜索引擎就認(rèn)為這個(gè)網(wǎng)站的所有的東西自己都能夠進(jìn)行訪問并抓取.

關(guān)鍵字段是USER-AGENT: 一般使用*代表所有的搜索引擎,或者也可以指定特定的搜索引擎的蜘蛛.Disallow: 后面寫指定的禁止訪問收錄的文件目錄,如果不寫的話,就表示允許.需要注意的是如果有好幾個(gè)目錄,一定要分開寫,每一個(gè)不想讓收錄的頁(yè)面都使用一個(gè)DISALLOW.

目前,絕大部分的搜索引擎都會(huì)遵守這個(gè)指令,不過(guò)被這個(gè)指令禁止搜錄的頁(yè)面的網(wǎng)址還能夠以URL的形式在搜索的結(jié)果當(dāng)中.要想讓URL也完全的不出現(xiàn),最好在頁(yè)面上使用META ROBOTS標(biāo)簽.所以,建議各位在做網(wǎng)站建設(shè)的朋友們根據(jù)需要自己的需要來(lái)設(shè)置好,千萬(wàn)不能設(shè)置錯(cuò)了.

META ROBOTS標(biāo)簽的禁止機(jī)制

這個(gè)標(biāo)簽是網(wǎng)頁(yè)META標(biāo)簽的一種,主要作用是讓搜索引擎不要索引這個(gè)頁(yè)面的內(nèi)容.meta的名稱是robots,內(nèi)容是寫不像被搜索跟蹤的內(nèi)容.比如下面:

NOINDEX:讓搜索引擎不要索引這個(gè)頁(yè)面;

NOFOLLOW:讓搜索引擎不要追蹤這個(gè)頁(yè)面上的鏈接;

NOARCHIVE:讓搜索引擎不顯示網(wǎng)頁(yè)快照.

這里需要重點(diǎn)強(qiáng)調(diào)的是,NOINDEX使用之后,頁(yè)面還是能被抓取,不會(huì)索引這個(gè)頁(yè)面,但搜索引擎還是能夠追蹤網(wǎng)頁(yè)上的一些鏈接,也能夠通過(guò)鏈接傳遞權(quán)重.

成都網(wǎng)站制作的小編總結(jié)：很多時(shí)候,一些行業(yè)的朋友由于記錯(cuò)了或者理解的不夠牢,會(huì)出現(xiàn)一些寫錯(cuò)了的情況,這里提醒大家,千萬(wàn)要重視啊!

本文由成都創(chuàng)新互聯(lián)科技有限公司（

m.rwnh.cn）原創(chuàng)編輯轉(zhuǎn)載請(qǐng)注明。

新聞標(biāo)題：網(wǎng)站制作中關(guān)于網(wǎng)頁(yè)搜索引擎的禁止機(jī)制
轉(zhuǎn)載來(lái)源：http://m.rwnh.cn/news30/119530.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián)，是專注品牌與效果的網(wǎng)站制作，網(wǎng)絡(luò)營(yíng)銷seo公司；服務(wù)項(xiàng)目有網(wǎng)站制作等

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

網(wǎng)站制作中關(guān)于網(wǎng)頁(yè)搜索引擎的禁止機(jī)制