中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

按照有效程度為序,列舉屏蔽爬蟲(chóng)對(duì)鏈接抓取的3種方法

2023-05-05    分類: 網(wǎng)站建設(shè)

關(guān)于屏蔽爬蟲(chóng)對(duì)鏈接抓取的問(wèn)題,有些網(wǎng)站通過(guò)爬蟲(chóng)去采集其它的網(wǎng)站頁(yè)面信息作為己用,大量的爬取行為會(huì)對(duì)web服務(wù)器有比較性能有影響,主要的表現(xiàn)就是會(huì)變得很慢。網(wǎng)站SEO優(yōu)化面試題看看你會(huì)怎么做?創(chuàng)新互聯(lián)介紹學(xué)習(xí)按照有效程度為序,列舉屏蔽爬蟲(chóng)對(duì)鏈接抓取的3種方法。

1、基于程序本身去防止爬?。?/strong>作為爬蟲(chóng)程序,爬取行為是對(duì)頁(yè)面的源文件爬取,如爬取靜態(tài)頁(yè)面的html代碼,可以用jquery去模仿寫(xiě)html,這種方法偽裝的頁(yè)面就很難被爬取了,不過(guò)這種方法對(duì)程序員的要求很高。

2、基于iptables和shell腳本:可以對(duì)nginx的access.log進(jìn)行策略定義,例如定義在1分鐘內(nèi)并發(fā)連接數(shù)超過(guò)30個(gè)ip為非法,如ip不在白名單內(nèi),則加入iptables策略封掉,當(dāng)然這種的缺點(diǎn)是會(huì)有“誤傷”,策略細(xì)粒度越小就會(huì)有更多的“誤傷”,細(xì)粒度大就會(huì)使效果變差,另外還有類似的第三方工具fail2ban,利用做filter和actor對(duì)一些有危害的操作記錄或是封ip。但是對(duì)于某個(gè)特定的爬蟲(chóng)地址(例如網(wǎng)易、有道)的爬取行為拒絕也很難準(zhǔn)確做到,因?yàn)槟銦o(wú)法準(zhǔn)確知道這些特定的爬蟲(chóng)ip地址。注意:建議不要用封ip條目的方式,iptables列表長(zhǎng)度是65535時(shí)就會(huì)封滿,服務(wù)器也就會(huì)死機(jī)。

3.使用robots.txt文件:例如阻止所有的爬蟲(chóng)爬取,但是這種效果不是很明顯。代碼如下:

User-agent: *

Disallow: /



?

文章標(biāo)題:按照有效程度為序,列舉屏蔽爬蟲(chóng)對(duì)鏈接抓取的3種方法
新聞來(lái)源:http://m.rwnh.cn/news/258088.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、自適應(yīng)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、外貿(mào)建站、品牌網(wǎng)站制作、定制網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

霸州市| 牙克石市| 弥勒县| 罗山县| 大英县| 金湖县| 阿城市| 上思县| 读书| 咸阳市| 射阳县| 华宁县| 宁安市| 伊春市| 容城县| 日喀则市| 宁都县| 伊金霍洛旗| 涟源市| 宜阳县| 德兴市| 连南| 郎溪县| 拜泉县| 嘉峪关市| 赫章县| 昔阳县| 武宣县| 长顺县| 玉山县| 交城县| 新昌县| 沅陵县| 白河县| 隆德县| 枝江市| 巨野县| 阿拉善盟| 波密县| 麻城市| 松溪县|