這篇文章主要介紹大數(shù)據(jù)爬蟲安裝的示例分析，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

目前成都創(chuàng)新互聯(lián)公司已為上1000家的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、成都網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計、潮陽網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

爬蟲安裝前準備工作：大數(shù)據(jù)平臺安裝完成、zookeeper、redis、elasticsearch、mysql等組件安裝啟動成功。

1、修改爬蟲安裝配置文件(最好在線下修改好后再上傳平臺)

 

 

2、修改crawler\dkcrw\jdbc.properties配置文件(只修改圖片里的內(nèi)容其他內(nèi)容默認即可)

 

Hbase.zookeeper.quorum所填地址應(yīng)在DKM監(jiān)控平臺查看：

 

Redis相關(guān)配置看如下界面：

 

3、把已修改的crawler\dkcrw\下的jdbc.properties配置文件替換到\crawler\dkcrw-tomcat-7.0.56\webapps\ROOT\WEB-INF\classes下(這下面有一個沒有改好的直接替換)

 

修改好后把修改好的爬蟲文件打壓成壓縮文件

4、上傳平臺主節(jié)點并解壓(這里就不介紹怎么上傳了的了,本次例子是上傳到root目錄下,安裝包上傳到任何目錄下都可以推選root目錄)

 

unzip 解壓命令,解壓唱功后會多了一個  cuawler  的文件夾

 

使用cd  crawler  命令進入  crawler 文件夾下

 

使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql數(shù)據(jù)庫

 

5、分發(fā)爬蟲文件

 

每個節(jié)點都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一個節(jié)點上,不能放在主節(jié)點上(推選放在從節(jié)點)

命令:

scp -r  {要分發(fā)的文件名可填寫多個,如果不在要分發(fā)文件的目錄下請?zhí)砑勇窂絵  {分發(fā)到的服務(wù)器ip或名稱:分發(fā)到的路徑}

例如:

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

 

6、在分發(fā)了dkcrw-tomcat-7.0.56文件的節(jié)點上給文件添加權(quán)限

命令:

chmod -R 755 {需要給權(quán)限的文件等}

例如:

cd /opt/dkh

chmod -R 755 dkcrw dkcrw-tomcat-7.0.56/

 

7、啟動爬蟲界面

命令:

cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/

./startup.sh

 

啟動界面之后再瀏覽器中輸入啟動界面節(jié)點的IP,來打開爬蟲界面看是否啟動成功(賬號密碼是默認的)

 

8、啟動每個節(jié)點的dkcrw.jar

命令:

主節(jié)點運行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

從節(jié)點運行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

注意：可以先使用前臺啟動爬蟲，確定爬蟲沒錯誤。

前臺啟動命令java -jar dkcrw.jar master/slave

以上是“大數(shù)據(jù)爬蟲安裝的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！

標題名稱：大數(shù)據(jù)爬蟲安裝的示例分析-創(chuàng)新互聯(lián)
當前鏈接：http://m.rwnh.cn/article22/dddejc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、網(wǎng)站設(shè)計公司、搜索引擎優(yōu)化、軟件開發(fā)、網(wǎng)站策劃、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)