中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

如何與惡意“蜘蛛”暗度陳倉

2021-11-22    分類: 網(wǎng)站建設(shè)

在做SEO的過程中,你是否遇到這樣一種問題:服務(wù)器訪問CPU使用率幾乎100%,而且頁面加載速度特別慢,貌似被DDOS攻擊一樣。  經(jīng)過一番審查才發(fā)現(xiàn)原來自己的目標(biāo)網(wǎng)站被大量不相關(guān)的“爬蟲”頻繁的抓取,這對于一個小網(wǎng)站來講,可能是滅頂之災(zāi)?! ∫虼?,我們在做網(wǎng)站優(yōu)化的時候,就需要針對特定蜘蛛有選擇的引導(dǎo)?! ∧敲?,如何與惡意“蜘蛛”暗度陳倉?根據(jù)以往SEO經(jīng)驗(yàn)分享,重慶小潘SEO將通過如下內(nèi)容闡述:  1、搜索引擎爬蟲  對于國內(nèi)的小伙伴,我們都知道在做SEO的過程中,我們面對的最常見的爬蟲就是搜索引擎的爬蟲,比如:百度蜘蛛,同時,還會面臨各種搜索引擎的蜘蛛,比如: ?、?60Spider、SogouSpider、Bytespider ?、贕ooglebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot ?、燮渌老x  如何你沒有刻意的配置你的robots.txt文件的話,理論上,你的目標(biāo)頁面是都可以抓取與爬行的,但對于一些中小網(wǎng)站,它偶爾會嚴(yán)重浪費(fèi)自己的服務(wù)器資源?! ∵@個時候我們就需要做出有選擇性的合理引導(dǎo),特別是一些比較尷尬的問題,比如:你希望谷歌降低對網(wǎng)站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:針對特定爬蟲的訪問,反饋不同的文章列表: ?、倏刂聘骂l率的列表 ?、诜答伌罅恐貜?fù)性,內(nèi)容農(nóng)場的頁面 ?、凵埔獾?ldquo;蜘蛛陷阱”比如:Flash ?、苋绾螌Ψ絊EO管理平臺,可以調(diào)整抓取評論,適當(dāng)調(diào)整一下  雖然,這樣的策略,很可能造成頁面信譽(yù)度受損,但這是我能想到,針對這些不希望經(jīng)常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一個相對“有效”的方法。  2、鏈接分析爬蟲  從目前來看,一個SEO外鏈分析管理工具,每天需要耗費(fèi)大量的服務(wù)器資源去全網(wǎng)爬行與檢測每一個網(wǎng)站的頁面鏈接?! ♂槍σ恍┵Y源密集型的站點(diǎn),每天可能爬行成千上萬次,這樣的爬蟲屢見不鮮?! ∪绻悴幌胱陨淼木W(wǎng)站參與其中,最簡單的策略就是在robots協(xié)議中,全封閉這樣的爬蟲?! ?、內(nèi)容采集爬蟲  但當(dāng)我們面對一些惡意的內(nèi)容采集爬蟲而言,就相對的尷尬,對方往往是采用“隱身”的狀態(tài),比如:模擬知名搜索引擎蜘蛛的名稱?! ♂槍@樣的問題,我們只能手動的判斷去審查一下對方的廬山真面,比如:利用IP泛解析命令,去判斷一下,它到底是不是真的?! 、貺inux平臺:hostip ?、赪idows平臺:nslookupIP  從而去判斷對方的解析地址,是否為對應(yīng)的搜索引擎域名?! ?、蜘蛛池爬蟲  目前市面上有很多人做百度蜘蛛池,它主要的目的是輔助更多的頁面做百度快速收錄,但由于一些任意下載的蜘蛛池程序設(shè)計(jì)的不規(guī)范化。  沒有做到合理的針對不同蜘蛛的爬行與限定,往往導(dǎo)致服務(wù)器資源被大量占用,很容易被服務(wù)商關(guān)停服務(wù)器?! ∪绻阍噲D利用這個策略,提升自己頁面收錄,那么,你可能需要多加注意。(但我們并不推薦)  總結(jié):SEO工作是一個細(xì)節(jié)性的工作,每個策略都影響著整站的運(yùn)營狀態(tài),而上述內(nèi)容只是淺析,適用于中小站長,僅供參考!

網(wǎng)站標(biāo)題:如何與惡意“蜘蛛”暗度陳倉
網(wǎng)頁鏈接:http://m.rwnh.cn/news49/137099.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站建設(shè)、服務(wù)器托管、響應(yīng)式網(wǎng)站、Google、網(wǎng)站策劃、網(wǎng)站營銷

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)
道孚县| 琼结县| 开阳县| 永城市| 巫山县| 东明县| 南昌市| 白朗县| 烟台市| 八宿县| 长汀县| 常宁市| 襄垣县| 绩溪县| 兴安盟| 闸北区| 旬邑县| 江山市| 闻喜县| 久治县| 五寨县| 广宁县| 赤水市| 青浦区| 青神县| 历史| 柳江县| 龙口市| 通化县| 连州市| 宝兴县| 柘荣县| 夏邑县| 惠东县| 磴口县| 安国市| 靖西县| 沙雅县| 珠海市| 奉新县| 拜泉县|