有些站長在優(yōu)化網(wǎng)站的過程中,會遇到這樣一個問題:我網(wǎng)站的關(guān)鍵詞布局沒問題、內(nèi)容質(zhì)量沒問題,并且規(guī)律性的更新網(wǎng)站內(nèi)容,同時也有持續(xù)在一些高權(quán)重平臺發(fā)布外鏈,為什么百度蜘蛛就是不收錄的的網(wǎng)頁?對于這樣的問題,筆者認為首先要知道網(wǎng)站是否有屏蔽了百度蜘蛛的抓取,因為有些站長在建站初期的無意識操作下屏蔽了百度蜘蛛,這也是比較常見的。下面筆者來教大家怎樣查看網(wǎng)站有沒有屏蔽百度蜘蛛的抓取。網(wǎng)站建設(shè)★網(wǎng)站設(shè)計★網(wǎng)站制作★網(wǎng)頁設(shè)計-800元全包;企業(yè)網(wǎng)絡(luò)推廣☆網(wǎng)站優(yōu)化☆seo☆關(guān)鍵詞排名☆百度快照-2200元全年展示;做網(wǎng)站優(yōu)化排名-網(wǎng)站建設(shè)公司
網(wǎng)站建設(shè)哪家好,找創(chuàng)新互聯(lián)公司!專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序開發(fā)、集團企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了民勤免費建站歡迎大家使用!
想知道網(wǎng)站有沒有屏蔽百度蜘蛛的抓取,有兩種方法
第一種:查看網(wǎng)站的robots.txt文件,此文件一般在網(wǎng)站的根目錄下,顯示如下:
User-agent:*
Disallow:/
這樣的表示是屏蔽所有搜索引擎蜘蛛的抓取。
User-agent:Baiduspider
Disallow:/
這樣就表示屏蔽了百度蜘蛛抓取。
那要怎樣才能讓百度蜘蛛抓取呢?筆者舉個例子,如下:
User-agent:*
Disallow:/wp-admin/
Disallow:/wp-content/
上述的例子中,把Disallow:/改成指定的屏蔽目錄就可以了,通常情況下,網(wǎng)站的后臺目錄是需要屏蔽的,只要指定的要屏蔽的目錄,其他頁面就會自動默認允許抓取了。另外還有一種方法就是把Disallow:/改成Allow:/,Allow的意思是指允許抓取的目錄或頁面。
第二種:查看網(wǎng)站的頁面代碼中是否設(shè)置屏蔽
在網(wǎng)站頁面代碼<head>與</head>之間,有沒有<meta name="robots"content="noindex,follow">或者<meta name="Baiduspider"content="noindex,follow">的代碼,如果有,把這段代碼刪除即可。
通過以上兩種方法都可以查看一個網(wǎng)站是否有屏蔽了百度蜘蛛的抓取,你學(xué)會了嗎?
新聞名稱:怎樣查看網(wǎng)站有沒有屏蔽百度蜘蛛的抓取
分享鏈接:http://m.rwnh.cn/article45/dghedhi.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供軟件開發(fā)、Google、虛擬主機、App開發(fā)、網(wǎng)站改版、服務(wù)器托管
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)