中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

網(wǎng)站優(yōu)化之防止網(wǎng)站被采集

2016-08-09    分類: 網(wǎng)站建設(shè)

采集就是使用程序通過自動化操作復(fù)制數(shù)據(jù)。
首先說明,只要是能讓瀏覽器訪問的,就沒有不能采集的。
但是可以通過一定的手段讓采集變得非常麻煩,進而在大量數(shù)據(jù)的情況下延遲采集完成時間,加大采集難度。
一般的情況略過不說,幾種情況比較特別的:
1、驗證來路,cookie,session這些,比如PHP可以用fsockopen自定義HTTPHeader,基本上這些方法沒什么效果。
2、限速,限制某段時間內(nèi)打開頁面數(shù)量。這個只是推遲了下,大部分時間效果一般。比如某站限制一分鐘之內(nèi)只能打開30個網(wǎng)頁,頁面大小平均30K,則用迅雷批量下載就OK了,設(shè)置限速為2K,一覺醒來什么都好了。這個方法效果也基本沒有。
3、比較特別的方法,設(shè)置一個數(shù)量級的閥值,達(dá)到這樣數(shù)量后,必須驗證方能繼續(xù),比如打開10個頁面需要輸入驗證碼,這個時候只需要保證驗證碼不可識別,分配一個session,以后的瀏覽過程中用session保證用戶合法性,這樣不影響后續(xù)訪問,同時可以有效防止采集。
4、第三條對蜘蛛是致命的,此時可通過手機蜘蛛IP段,放行,其它的按照嚴(yán)格規(guī)則來。
5、3+4真是無敵的嗎?遠(yuǎn)非可以高枕無憂,比如此站有10萬個頁面,則設(shè)置100個代理,在閥值前循環(huán)使用代理,這樣實際上繞過了3的限制。
6、還有別的辦法嗎?不能,因為你的網(wǎng)站能用瀏覽器打開。

網(wǎng)頁標(biāo)題:網(wǎng)站優(yōu)化之防止網(wǎng)站被采集
轉(zhuǎn)載源于:http://m.rwnh.cn/news/41719.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供搜索引擎優(yōu)化、App設(shè)計、面包屑導(dǎo)航企業(yè)建站、商城網(wǎng)站云服務(wù)器

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

綿陽服務(wù)器托管
辛集市| 海阳市| 太和县| 陇川县| 眉山市| 滦平县| 丰顺县| 香港| 河曲县| 邯郸县| 莒南县| 棋牌| 绿春县| 梁平县| 连城县| 宜州市| 苏州市| 英德市| 汾阳市| 安顺市| 龙游县| 化州市| 平罗县| 南京市| 天峨县| 金乡县| 抚顺市| 天长市| 海晏县| 平泉县| 新建县| 长治县| 阳谷县| 油尖旺区| 运城市| 黎川县| 凌源市| 永昌县| 西充县| 桑植县| 东明县|