中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

【SEO優(yōu)化】如何設(shè)置讓網(wǎng)站禁止被爬蟲(chóng)收錄

2022-04-05    分類(lèi): 網(wǎng)站建設(shè)

網(wǎng)站建設(shè)好了,當(dāng)然是希望網(wǎng)頁(yè)被搜索引擎收錄的越多越好,但有時(shí)候我們也會(huì)碰到網(wǎng)站不需要被搜索引擎收錄的情況。要啟用一個(gè)新的域名做鏡像網(wǎng)站,主要用于PPC 的推廣,這個(gè)時(shí)候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網(wǎng)站的所有網(wǎng)頁(yè)。因?yàn)槿绻R像網(wǎng)站也被搜索引擎收錄的話,很有可能會(huì)影響官網(wǎng)在搜索引擎的權(quán)重。

以下列舉了屏蔽主流搜索引擎爬蟲(chóng)(蜘蛛)抓取/索引/收錄網(wǎng)頁(yè)的幾種思路。注意:是整站屏蔽,而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲(chóng)(蜘蛛)。

  1、通過(guò) robotstxt 文件屏蔽

可以說(shuō) robotstxt 文件是最重要的一種渠道(能和搜索引擎建立直接對(duì)話),給出以下建議:

Useragent Baiduspider

Disallow /

Useragent Googlebot

Disallow /

Useragent GooglebotMobile

Disallow /

Useragent GooglebotImage

Disallow/

Useragent MediapartnersGoogle

Disallow /

Useragent AdsbotGoogle

Disallow /

UseragentFeedfetcherGoogle

Disallow /

Useragent Yahoo Slurp

Disallow /

Useragent Yahoo Slurp China

Disallow /

Useragent YahooAdCrawler

Disallow /

Useragent YoudaoBot

Disallow /

Useragent Sosospider

Disallow /

Useragent Sogou spider

Disallow /

Useragent Sogou web spider

Disallow /

Useragent MSNBot

Disallow /

Useragent iaarchiver

Disallow /

Useragent Tomato Bot

Disallow /

Useragent

Disallow /

  2、通過(guò) meta tag 屏蔽

在所有的網(wǎng)頁(yè)頭部文件添加,添加如下語(yǔ)句:

<meta name='robots' content='index,follow' />:可以抓取本頁(yè),也可以順著本頁(yè)繼續(xù)索引別的鏈接

<meta name='robots' content='noindex,follow' />:禁止抓取本頁(yè),但可以抓取跟蹤本頁(yè)的其它鏈接

<meta name='robots' content='index,nofollow'/>:可以抓取本頁(yè),禁止抓取和跟蹤本頁(yè)的其它鏈接

<meta name='robots' content='noindex,nofollow' />:禁止抓取本頁(yè),禁止抓取和跟蹤本頁(yè)的其它鏈接

<meta name='robots' content='noarchive' />:禁止搜索引擎建立快照

  3、通過(guò)服務(wù)器(如:Linux/nginx )配置文件設(shè)置

直接過(guò)濾 spider/robots 的IP 段。


以上就是《SEO優(yōu)化之如何設(shè)置讓網(wǎng)站禁止被爬蟲(chóng)收錄》的全部?jī)?nèi)容,僅供站長(zhǎng)朋友們互動(dòng)交流學(xué)習(xí),SEO優(yōu)化是一個(gè)需要堅(jiān)持的過(guò)程,希望大家一起共同進(jìn)步。

文章題目:【SEO優(yōu)化】如何設(shè)置讓網(wǎng)站禁止被爬蟲(chóng)收錄
文章來(lái)源:http://m.rwnh.cn/news25/145325.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供虛擬主機(jī)、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)品牌網(wǎng)站建設(shè)、App開(kāi)發(fā)、商城網(wǎng)站、網(wǎng)站營(yíng)銷(xiāo)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站制作
大城县| 温泉县| 祁东县| 桦南县| 旌德县| 嘉祥县| 泾川县| 聊城市| 沭阳县| 霍山县| 瑞丽市| 中宁县| 厦门市| 武功县| 邻水| 榆树市| 贵南县| 南和县| 东城区| 南华县| 石狮市| 宜都市| 抚宁县| 锡林郭勒盟| 信宜市| 尼木县| 苍南县| 阿坝县| 隆化县| 监利县| 施秉县| 建始县| 五大连池市| 隆回县| 额济纳旗| 威远县| 玉田县| 佛山市| 金沙县| 铜川市| 洪泽县|