中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

蜘蛛抓取失敗的原因有那些,服務(wù)器導(dǎo)致蜘蛛抓取失敗的原因

2022-06-01    分類: 網(wǎng)站建設(shè)

服務(wù)器是網(wǎng)站生存的基礎(chǔ),不論是什么原因造成的服務(wù)器封禁,都直接影響蜘蛛的抓取,影響網(wǎng)站的用戶體驗(yàn),不利于seo工作的展開。我其將以自己的親身經(jīng)歷,結(jié)合網(wǎng)絡(luò)上一些朋友對(duì)這類問題的分析,總結(jié)出造成服務(wù)器封禁的三點(diǎn)主要原因:


1、人為操作失誤

對(duì)搜索引擎蜘蛛認(rèn)識(shí)不夠,對(duì)一些冒充搜索引擎spider的IP無法正確判斷,繼而誤封搜索引擎IP。這樣會(huì)導(dǎo)致搜索引擎不能成功抓取網(wǎng)站,無法成功抓取新網(wǎng)頁,以及將之前已經(jīng)成功抓取并收錄的頁面判定為無效鏈接,然后搜索引擎將會(huì)對(duì)這些死鏈接進(jìn)行清除,繼而網(wǎng)站頁面收錄減少,最終導(dǎo)致網(wǎng)站在搜索引擎的排名下降。

解決方法:正確認(rèn)識(shí)各搜索引擎蜘蛛,而搜索引擎使用的 IP 地址會(huì)隨時(shí)發(fā)生變化,為確保能夠正確識(shí)別各搜索引擎IP,您可以使用DNS反查方式來確定抓取來源的IP是否屬于正規(guī)搜索引擎,防止誤封。

2、服務(wù)器不穩(wěn)定

現(xiàn)在的服務(wù)器多如牛毛,價(jià)格也各不相同,質(zhì)量方面也是相差甚遠(yuǎn),站長(zhǎng)們往往在選擇的時(shí)候都是“只認(rèn)價(jià)不認(rèn)質(zhì)”, 有的空間商為了節(jié)省資源,故意屏蔽掉spider(蜘蛛)的IP,導(dǎo)致spider抓取失敗,網(wǎng)站頁面就無法被搜索引擎收錄。

解決方法:選擇有實(shí)力的正規(guī)空間商,盡可能保證您的網(wǎng)站穩(wěn)定。服務(wù)器和空間的穩(wěn)定性需要一定的技術(shù)實(shí)力來保障,一些沒有實(shí)力的空間商,可能無力提供良好的服務(wù),服務(wù)的穩(wěn)定性無法保證。我們可以很形像的打個(gè)比喻:如果將“人”比喻為網(wǎng)站內(nèi)容,那么服務(wù)器就是我們的“家”,它為我們擋風(fēng)避雨,為我們的生存提供了一個(gè)優(yōu)良的環(huán)境,而服務(wù)器的好壞將影響我們所能承受的風(fēng)險(xiǎn)。我想,誰都不愿意住在沒有安全保障的屋子里,拿自己的生命開玩笑,同理,網(wǎng)站也是如此!如果您現(xiàn)在的服務(wù)器不理想,有必要另選時(shí),請(qǐng)暫時(shí)讓舊服務(wù)器能夠使用一段時(shí)間,并且做301跳轉(zhuǎn),盡量減少更換服務(wù)器帶來的一系列損失。

3、保護(hù)性的偶然封禁

1、如果網(wǎng)站的訪問量過大,超過自身負(fù)荷,服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種封禁是短暫性的,只要訪問量下降到服務(wù)器的承受范圍之內(nèi),那么服務(wù)器就會(huì)正常工作。

2、還有一種情況是spider造成的,搜索引擎為了達(dá)到對(duì)目標(biāo)資源較好的檢索效果,蜘蛛需要對(duì)您的網(wǎng)站保持一定量的抓取。搜索引擎會(huì)根據(jù)服務(wù)器承受能力,網(wǎng)站質(zhì)量,網(wǎng)站更新等綜合因素來進(jìn)行調(diào)整, 建立一個(gè)合理的站點(diǎn)抓取壓力。但是會(huì)有一些例外,在壓力控制不好的情況下,服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。

解決方法:1、如果是訪問量造成的壓力,那么恭喜你,說明你的網(wǎng)站已經(jīng)擁有可觀的訪問人數(shù),我們就應(yīng)該升級(jí)服務(wù)器,來滿足不段增長(zhǎng)的訪問量。2、如果是spider造成的,我們可以采用如下方式來減輕spider對(duì)服務(wù)器產(chǎn)生的壓力:A、利用robots文件,屏蔽掉不想被spider抓取的頁面。B、采用nofollow標(biāo)簽,屏蔽不想被spider爬行的鏈接。C、頁面中較長(zhǎng)的CSS、JS代碼移到外部文件。D、刪減多余代碼。應(yīng)當(dāng)注意的是,以上兩種情況在返回的代碼中盡量不要使用404,建議返回503(其含義是“Service Unavailable”)。這樣spider會(huì)過段時(shí)間再來嘗試抓取這個(gè)鏈接,如果那個(gè)時(shí)間站點(diǎn)空閑,那它就會(huì)被成功抓取了。

文章題目:蜘蛛抓取失敗的原因有那些,服務(wù)器導(dǎo)致蜘蛛抓取失敗的原因
文章源于:http://m.rwnh.cn/news13/162163.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供自適應(yīng)網(wǎng)站搜索引擎優(yōu)化、軟件開發(fā)靜態(tài)網(wǎng)站、品牌網(wǎng)站建設(shè)手機(jī)網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)頁設(shè)計(jì)公司
电白县| 大荔县| 湘潭市| 郎溪县| 石楼县| 河东区| 汶上县| 盐津县| 日照市| 葫芦岛市| 左权县| 即墨市| 德格县| 称多县| 福建省| 赣州市| 北川| 小金县| 岳普湖县| 清丰县| 大埔县| 巫山县| 永福县| 株洲县| 开化县| 科尔| 庄河市| 宜宾县| 莱州市| 贵德县| 阿拉善盟| 潮安县| 牡丹江市| 扶风县| 阿城市| 泰兴市| 西乡县| 新丰县| 金寨县| 海晏县| 旬阳县|