2022-08-13 分類: 網(wǎng)站建設(shè)
搜索引擎的工作原理那是相當(dāng)?shù)膹?fù)雜的,我們不能全面的詳細(xì)的闡述,但是我們可以大概的了解一下搜索引擎的工作原理,這樣有助于我們更好地做網(wǎng)站優(yōu)化。那么今天成都網(wǎng)站建設(shè)的小編就簡(jiǎn)單的給大家針對(duì)搜索引擎的工作原理做一個(gè)簡(jiǎn)單的闡述 :
搜索引擎用來(lái)爬行和訪問(wèn)頁(yè)面的程序被稱為蜘蛛(spider),也稱為機(jī)器人(bot)。
搜索引擎蜘蛛訪問(wèn)網(wǎng)站頁(yè)面時(shí)類似于普通用戶使用的瀏覽器。蜘蛛程序發(fā)出頁(yè)面訪問(wèn)請(qǐng)求后,服務(wù)器返回HTML代碼,蜘蛛程序把收到的代碼存入原始頁(yè)面數(shù)據(jù)庫(kù)。搜索引擎為了提高爬行和抓取速度,都使用多個(gè)蜘蛛并發(fā)分布爬行。
蜘蛛訪問(wèn)任何一個(gè)網(wǎng)站時(shí),都會(huì)先訪問(wèn)網(wǎng)站根目錄下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目錄,蜘蛛將遵守協(xié)議,不抓取被禁止的網(wǎng)址。
2.跟蹤鏈接
為了抓取網(wǎng)上盡量多的頁(yè)面,搜索引擎蜘蛛會(huì)跟蹤頁(yè)面上的鏈接,從一個(gè)頁(yè)面爬到下一個(gè)頁(yè)面,就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣,這也就是搜索引擎蜘蛛這個(gè)名稱的由來(lái)。
整個(gè)互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁(yè)面組成的。從理論上說(shuō),蜘蛛從任何一個(gè)頁(yè)面出發(fā),順著鏈接都可以爬行到網(wǎng)上的所有頁(yè)面。當(dāng)然,由于網(wǎng)站及頁(yè)面鏈接結(jié)構(gòu)異常復(fù)雜,蜘蛛需要采取一定的爬行策略才能遍歷網(wǎng)上所有頁(yè)面。
最簡(jiǎn)單的爬行遍歷策略分為兩種,一種是深度優(yōu)先,另一種是廣度優(yōu)先。
所謂深度優(yōu)先,指的是蜘蛛沿著發(fā)現(xiàn)的鏈接一直向前爬行,直到前面再也沒(méi)有其他鏈接,然后返回到一個(gè)頁(yè)面,沿著另一個(gè)鏈接再一直往前爬行。
3.吸引蜘蛛
由此可見(jiàn),雖然理論上蜘蛛能爬行和抓取所有頁(yè)面,但實(shí)際上不能、也不會(huì)這么做。SEO人員要想讓自己的更多頁(yè)面被收錄,就要想方設(shè)法吸引蜘蛛來(lái)抓取。既然不能抓取所有頁(yè)面,蜘蛛所要做的就是盡量抓取重要頁(yè)面。哪些頁(yè)面被認(rèn)為比較重要呢?有幾方面影響因素。
1、網(wǎng)站和頁(yè)面權(quán)重。質(zhì)量高、資格老的網(wǎng)站被認(rèn)為權(quán)重比較高,這種網(wǎng)站上的頁(yè)面被爬行的深度也會(huì)比較高,所以會(huì)有更多內(nèi)頁(yè)被收錄。
2、頁(yè)面更新度。蜘蛛每次爬行都會(huì)把頁(yè)面數(shù)據(jù)存儲(chǔ)起來(lái)。如果第二次爬行發(fā)現(xiàn)頁(yè)面與一次收錄的完全一樣,說(shuō)明頁(yè)面沒(méi)有更新,蜘蛛也就沒(méi)有必要經(jīng)常抓取。如果頁(yè)面內(nèi)容經(jīng)常更新,蜘蛛就會(huì)更加頻繁地訪問(wèn)這種頁(yè)面,頁(yè)面上出現(xiàn)的新鏈接,也自然會(huì)被蜘蛛更快地跟蹤,抓取新頁(yè)面。
3、導(dǎo)入鏈接。無(wú)論是外部鏈接還是同一個(gè)網(wǎng)站的內(nèi)部鏈接,要被蜘蛛抓取,就必須有導(dǎo)入鏈接進(jìn)入頁(yè)面,否則蜘蛛根本沒(méi)有機(jī)會(huì)知道頁(yè)面的存在。高質(zhì)量的導(dǎo)入鏈接也經(jīng)常使頁(yè)面上的導(dǎo)出鏈接被爬行深度增加。
4、與首頁(yè)點(diǎn)擊距離。一般來(lái)說(shuō)網(wǎng)站上權(quán)重高的是首頁(yè),大部分外部鏈接是指向首頁(yè)的,蜘蛛訪問(wèn)最頻繁的也是首頁(yè)。離首頁(yè)點(diǎn)擊距離越近,頁(yè)面權(quán)重越高,被蜘蛛爬行的機(jī)會(huì)也越大。
新聞標(biāo)題:成都網(wǎng)站建設(shè)之搜索引擎的工作原理簡(jiǎn)析
轉(zhuǎn)載來(lái)于:http://m.rwnh.cn/news41/189341.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站改版、品牌網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站內(nèi)鏈、云服務(wù)器
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容