這篇文章主要為大家分享Java訪問HTTP服務(wù)器和FTP服務(wù)器的方法。在實(shí)現(xiàn)訪問的過程還講解了各類軟件或工具的使用方法，希望大家通過這篇文章能有所收獲。

成都創(chuàng)新互聯(lián)主要從事網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)石臺(tái),10年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):13518219792

一、用Java Socket訪問HTTP服務(wù)器

通過Socket訪問HTTP服務(wù)器，需要了解具體的HTTP協(xié)議通信細(xì)節(jié)，由Socket獲得輸入流和輸出流，然后通過輸入流發(fā)送HTTP請(qǐng)求數(shù)據(jù)，通過輸出流讀取HTTP響應(yīng)結(jié)果。程序得到了HTTP響應(yīng)結(jié)果后，需要對(duì)響應(yīng)頭和響應(yīng)正文進(jìn)行解析。

這是最原始的方法，給程序員提供了很靈活地發(fā)揮空間，可以炮制各種各樣的HTTP請(qǐng)求數(shù)據(jù)。缺點(diǎn)是處理HTTP響應(yīng)結(jié)果比較麻煩。尤其是現(xiàn)在許多網(wǎng)站發(fā)回的數(shù)據(jù)會(huì)先進(jìn)行g(shù)zip壓縮?？蛻舳说玫搅诉@樣的數(shù)據(jù)后，還需要進(jìn)行解壓，才能得到真實(shí)的數(shù)據(jù)。

這種方法的使用技巧和范例請(qǐng)參考 用Java套接字訪問HTTP服務(wù)器讀取網(wǎng)頁(yè)數(shù)據(jù)

二、用java.net.URL等類訪問HTTP服務(wù)器

URL類以及其相關(guān)的URLConnection類稱為客戶端協(xié)議處理框架，它對(duì)原始的HTTP通信細(xì)節(jié)進(jìn)行了封裝。程序員只需要提供一個(gè)URL地址，就能發(fā)送HTTP請(qǐng)求數(shù)據(jù)以及讀取HTTP響應(yīng)結(jié)果。如果服務(wù)器端對(duì)HTML文檔進(jìn)行了gzip壓縮，客戶端協(xié)議處理框架會(huì)對(duì)HTML文檔進(jìn)行解壓，再作為響應(yīng)結(jié)果的正文返回給客戶程序，這是比直接用Socket讀取HTML文檔更省力的地方。

以下getByteSource()方法能根據(jù)給定的URL地址，返回相應(yīng)的響應(yīng)結(jié)果的正文部分的字節(jié)流，以byte[]形式返回。

 public static byte[] getByteSource(String  urlStr)throws IOException{
   URL url=new URL(urlStr);

   HttpURLConnection.setFollowRedirects(true);  //設(shè)置允許重定向
   //此處創(chuàng)建URLConnection對(duì)象時(shí)，并不會(huì)進(jìn)行真實(shí)地與HTTP服務(wù)器的連接，
   //只有當(dāng)調(diào)用URLConnection的connect()方法，或者發(fā)送HTTP請(qǐng)求以及讀取HTTP響應(yīng)結(jié)果時(shí)才會(huì)連接服務(wù)器
   URLConnection connection=url.openConnection();  
   connection.setConnectTimeout(60000); //設(shè)置連接超時(shí)時(shí)間為60秒
   connection.setReadTimeout(60000);  //設(shè)置讀取數(shù)據(jù)超時(shí)時(shí)間為60秒

   //演示設(shè)置HTTP請(qǐng)求頭部的信息
   connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36");
   connection.setRequestProperty("Connection","keep-alive");
   connection.setRequestProperty("Content-Type","text/plain;charset=UTF-8");
   connection.setRequestProperty("X-Buffalo-Version","2.0-alpha3");
   connection.setRequestProperty("Sec-Fetch-Mode","cors");
   connection.setRequestProperty("Accept"," */*");
   connection.setRequestProperty("Sec-Fetch-Site","same-origin");
   connection.setRequestProperty("Accept-Encoding","deflate, br");
   connection.setRequestProperty("Accept-Language","zh-CN,zh;q=0.9");  

  //演示遍歷訪問響應(yīng)結(jié)果的頭部信息
  Map<String,List<String>> headers=connection.getHeaderFields();
  Set<String> keySet=headers.keySet();
  for(String key:keySet){
    //響應(yīng)頭中的每一項(xiàng)可能有多個(gè)取值，此處僅打印第一個(gè)取值
   System.out.println(key+":"+headers.get(key).get(0));
  }

  //讀取響應(yīng)頭部的特定項(xiàng)的值
  String location=connection.getHeaderField("Location");

   //讀取響應(yīng)正文的數(shù)據(jù)
   InputStream in=connection.getInputStream();
   ByteArrayOutputStream buffer=new ByteArrayOutputStream();
   byte[] buff=new byte[1024];  
   int len=-1;

   while((len=in.read(buff))!=-1){
    buffer.write(buff,0,len);
   }

   return buffer.toByteArray();
  }  

以下getStringSource()方法演示獲得HTML文本數(shù)據(jù)。它利用上面的getByteSource()方法得到HTTP響應(yīng)正文的字節(jié)流，再把它包裝成一個(gè)字符串對(duì)象。需要指定響應(yīng)正文的字符編碼。

 public static String getStringSource(String urlStr,String encode)throws IOException{
   byte[] buffer=getByteSource(urlStr);
   String data=new String(buffer,tencode);
   return data;  //把字節(jié)數(shù)組轉(zhuǎn)換為字符串
  }

客戶端協(xié)議處理框架的更多使用技巧和范例請(qǐng)參考 用java.net.URL類訪問HTTP服務(wù)器讀取網(wǎng)頁(yè)數(shù)據(jù)

三、用Selenium軟件API訪問HTTP服務(wù)器

Selenium是一個(gè)專業(yè)的爬蟲軟件。它支持Java和Python等語(yǔ)言。當(dāng)通過上述java.net.URL類來讀取網(wǎng)站的HTML文檔時(shí)，有時(shí)候讀到的僅僅是JavaScript腳本，而真正的HTML文檔需要運(yùn)行JavaScript才能獲得。Selenium能夠利用Chrome瀏覽器或者是FireFox瀏覽器的驅(qū)動(dòng)程序來啟動(dòng)瀏覽器，由瀏覽器執(zhí)行JavaScript腳本，然后返回真實(shí)的HTML文檔。
Selenium具有以下優(yōu)勢(shì)：
（1）利用瀏覽器動(dòng)態(tài)執(zhí)行JavaScript腳本的功能，獲得真正要訪問的HTML文本數(shù)據(jù)。
（2）對(duì)HTML文檔進(jìn)行了DOM（文檔對(duì)象模型）建模，可以方便地訪問HTML文檔中各個(gè)元素的屬性。

關(guān)于用Selenium獲取HTML文檔的方法和范例請(qǐng)參考：Java版Selenium使用chrome driver抓取動(dòng)態(tài)網(wǎng)頁(yè)

Selenium讀取和處理HTML文檔比較方便，但是目前在抓取網(wǎng)頁(yè)圖片方面比較麻煩。一種做法是先把整個(gè)網(wǎng)頁(yè)進(jìn)行截屏，得到一個(gè)圖片。然后截取特定元素在整個(gè)圖片中所在的區(qū)域，獲得元素所對(duì)應(yīng)的圖片。這種做法的缺點(diǎn)是: 如果對(duì)網(wǎng)頁(yè)的截屏的大小取決于電腦屏幕的大小。對(duì)于需要通過滾動(dòng)屏幕才能顯示的網(wǎng)頁(yè)部分內(nèi)容，則不能一次性截屏。

對(duì)于不在截屏圖片范圍內(nèi)的元素，如果試圖截取這個(gè)元素對(duì)應(yīng)區(qū)域的圖片，程序會(huì)拋出Outside of Raster的異常。

關(guān)于用Selenium截取網(wǎng)頁(yè)圖片以及特定元素的圖片的方法和范例請(qǐng)參考： Java版Selenium 截取網(wǎng)頁(yè)上特定元素的圖片的方法

如果用Selenium來抓圖比較方法，還可以使用java.net.URL或者Apache HttpClients來抓圖。關(guān)于把Selenium和java.net.URL類結(jié)合使用，來讀取HTML文檔以及下載文檔中<img>元素指定圖片的方法，請(qǐng)參考： 用Selenium 爬蟲API和java.net.URL類保存網(wǎng)頁(yè)上的圖片

使用Selenium的另一個(gè)缺點(diǎn)是比較“笨重”，必須安裝Chrome瀏覽器，下載對(duì)應(yīng)的Chrome驅(qū)動(dòng)器程序，提供Selenium的多個(gè)類庫(kù)文件。

四、用Apache HttpClients下載網(wǎng)上的圖片等各種數(shù)據(jù)

用java.net.URL來下載圖片數(shù)據(jù)時(shí)，如果HTTP服務(wù)器端對(duì)圖片數(shù)據(jù)進(jìn)行了重定向，或者進(jìn)行了特殊格式的壓縮，有時(shí)還是無(wú)法獲取正確的原始圖片數(shù)據(jù)。在這種情況下，可以使用Apach HttpClients API。

關(guān)于用Apache HttpClients來下載各種網(wǎng)頁(yè)數(shù)據(jù)的方法，請(qǐng)參考： 用Apache HttpClients下載網(wǎng)上的圖片等各種數(shù)據(jù)

在實(shí)際應(yīng)用中，可以利用Selenium來讀取需要?jiǎng)討B(tài)執(zhí)行JavaScript腳本的網(wǎng)頁(yè)，用Apache Clients來下載網(wǎng)頁(yè)中的圖片等數(shù)據(jù)，這樣會(huì)解決抓取數(shù)據(jù)中遇到的各種障礙。

五、用Apache FTPClient訪問FTP服務(wù)器

Java程序除了要訪問HTTP服務(wù)器，還需要訪問FTP服務(wù)器。Apache FTPClient API提供了訪問FTP服務(wù)器的各種功能，包括：

• 下載和上傳文件
• 瀏覽FTP服務(wù)器端的文件信息
• 在遠(yuǎn)程FTP服務(wù)器上創(chuàng)建或刪除文件以及目錄

看完這篇文章，你們學(xué)會(huì)使用Java訪問HTTP服務(wù)器和FTP服務(wù)器的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文標(biāo)題：Java訪問HTTP服務(wù)器和FTP服務(wù)器的方法-創(chuàng)新互聯(lián)
本文鏈接：http://m.rwnh.cn/article30/popso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、網(wǎng)站策劃、Google、虛擬主機(jī)、做網(wǎng)站、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)