中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

蜘蛛爬行抓取的地址庫和文件存儲(chǔ)

2022-04-12    分類: 網(wǎng)站建設(shè)

地址庫
為了避免重復(fù)爬行和抓取網(wǎng)址,搜索引擎會(huì)建立一個(gè)地址庫,記錄已經(jīng)被發(fā)現(xiàn)還沒有抓取的頁面,以及已經(jīng)被抓取的頁面地址庫中的URL有幾個(gè)來源:

(1)人工錄入的種子網(wǎng)站。
(2)蜘蛛抓取頁面后,從HTML中解析出新的鏈接URL與地址庫中的數(shù)據(jù)進(jìn)行對(duì)比,如果是地址庫中沒有的網(wǎng)址,就存入待訪問地址庫。
(3)站長(zhǎng)通過搜索引擎網(wǎng)頁提交表格提交進(jìn)來的網(wǎng)址。
蜘蛛按重要性從待訪問地址庫中提取URL,訪問并抓取頁面,然后把這個(gè)URL,從待訪問地址庫中刪除,放進(jìn)已訪問地址庫中。
大部分主流搜索引擎都提供一個(gè)表格,讓站長(zhǎng)提交網(wǎng)址。不過這些提交來的網(wǎng)址都只是存入地址庫而已,是否收錄還要看頁面重要性如何。搜索引擎所收錄的絕大部分頁面是蜘蛛自己跟蹤鏈接得到的。可以說提交頁面基本上是毫無用處的,搜索引擎更喜歡自己沿著鏈接發(fā)現(xiàn)新頁面。
文件存儲(chǔ)
搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁面蕪湖網(wǎng)站設(shè)計(jì)數(shù)據(jù)庫。其中的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的,每個(gè)URL都有一個(gè)獨(dú)特的文件編號(hào) 。

分享標(biāo)題:蜘蛛爬行抓取的地址庫和文件存儲(chǔ)
鏈接URL:http://m.rwnh.cn/news25/145525.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)頁設(shè)計(jì)公司微信小程序、虛擬主機(jī)、網(wǎng)站設(shè)計(jì)Google、標(biāo)簽優(yōu)化

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

微信小程序開發(fā)
朝阳区| 通榆县| 廊坊市| 临湘市| 土默特右旗| 新闻| 金华市| 德安县| 疏勒县| 巴林右旗| 玉屏| 涟水县| 六安市| 山西省| 唐河县| 乌恰县| 贡嘎县| 孟州市| 陆川县| 浦东新区| 长顺县| 潞城市| 视频| 武清区| 云和县| 射洪县| 玉屏| 顺平县| 湄潭县| 金阳县| 石阡县| 定襄县| 临猗县| 奉贤区| 禹州市| 普定县| 嘉黎县| 安远县| 丹寨县| 道孚县| 寿宁县|