中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

搜索引擎工作原理

2017-01-19    分類: 網(wǎng)站建設(shè)

在互聯(lián)網(wǎng)時代,搜索引擎可以說是日常生活的一部分。不僅如此,搜索引擎歷經(jīng)20多年的風(fēng)霜雨雪,仍然牢牢占據(jù)著流量入口,不得不讓人感嘆。

而且,提起搜索引擎,我們都會想到一家高大上的巨無霸公司和一家被黑出xiang的巨霸公司。足以見得搜索引擎的巨大作用。

作為產(chǎn)品人,對此當(dāng)然不能視而不見,也應(yīng)該了解了解其工作原理。

搜索引擎工作原理大致可以分為3個步驟

1. 爬行與抓取

2. 預(yù)處理

3. 排序

所謂一圖勝千言,沒圖我說個……

PS:上圖總結(jié)自《SEO實戰(zhàn)密碼》。

下面詳細(xì)敘述:

爬行與抓取

簡單地說:就是搜索引擎蜘蛛沿著互聯(lián)網(wǎng)絡(luò)爬行并抓取其爬行的頁面,將這些抓取的頁面存儲起來。

說到這,你可能會問:為什么叫「蜘蛛」?

為了抓取盡量多的頁面,搜索引擎會跟蹤頁面上的鏈接,從一個頁面爬行到下一個頁面,好像蜘蛛在蜘蛛網(wǎng)上爬行那樣,這就是 搜索引擎蜘蛛 這個名稱的由來。

搜索引擎在跟蹤網(wǎng)絡(luò)上的鏈接時,會使用一定策略,因為現(xiàn)在的網(wǎng)絡(luò)鏈接太多。最簡單的爬行遍歷策略有兩種,一種是 深度優(yōu)先 ,一種是 廣度優(yōu)先 。

還有一點值得一提:搜索引擎訪問網(wǎng)站頁面時 類似于普通用戶使用的瀏覽器 。搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁面數(shù)據(jù)庫,其中的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML完全一樣。

預(yù)處理

由于抓取的頁面數(shù)量太大(以”億”為單位),無法快速實時排序,所以需要預(yù)處理。這就是產(chǎn)品設(shè)計中的「 復(fù)雜性守恒原則 」,我們沒辦法讓用戶等待十幾秒甚至更久,就只能在后臺處理上下功夫。

在一些資料中,「預(yù)處理」也被稱為「索引」,因為「索引」是預(yù)處理最主要的內(nèi)容。

預(yù)處理的過程比較復(fù)雜,值得一提的有這么幾點:

去重 :對于內(nèi)容相似度高的,搜索引擎不喜歡,因為用戶不喜歡這樣的內(nèi)容。而且,搜索引擎的去重算法很可能不止于頁面級別,而是進(jìn)行到段落級別。因此,混合不同文章、交叉調(diào)換段落順序也不能使轉(zhuǎn)載和抄襲變成原創(chuàng)。所以, 少抄襲,多原創(chuàng)吧 。

正向索引 :可以簡稱為「索引」。通過這個步驟,搜索引擎將頁面及關(guān)鍵詞形成詞表結(jié)構(gòu)存儲進(jìn)索引庫。簡化的索引詞表形式如下。你看,這樣就得到了每個文件(如每個頁面)的對應(yīng)關(guān)鍵詞。這樣用戶就能搜索了嗎?還不行。

倒排索引 :正向索引雖然提供了文件與關(guān)鍵詞的對應(yīng)關(guān)系,但無奈用戶搜索的是關(guān)鍵詞,因此搜索引擎還需根據(jù)這些對應(yīng)關(guān)系找到某關(guān)鍵詞對應(yīng)的文件,這樣的計算量無法滿足實時返回排名結(jié)果的要求。因此,還需要 倒排索引 。倒排索引與正向索引剛好相反,它以關(guān)鍵詞為關(guān)鍵,簡單來說如下表:

得到了倒排索引,就能很快地根據(jù)用戶搜索的關(guān)鍵詞找到對應(yīng)文件,但這樣就夠了嗎?別天真啊。

通過上述步驟,其實只得到了頁面本身的內(nèi)容。說白了,就是頁面本身告訴搜索引擎自己如何如何。

俗話說:王婆賣瓜,自賣自夸。

就像我們網(wǎng)購時不僅會看店家給的商品介紹,還會看看買家的評論一樣,頁面內(nèi)容質(zhì)量,也需要其他人的評價——這里的「其他人」指「其他頁面?!顾裕覀冞€需要鏈接關(guān)系計算。

鏈接關(guān)系計算 :每個頁面上都有鏈接,不同頁面之間用鏈接互相關(guān)聯(lián)起來,這些關(guān)聯(lián)關(guān)系,就形成了其他頁面對某個頁面的評價。這些復(fù)雜的鏈接指向關(guān)系形成了網(wǎng)站和頁面的鏈接權(quán)重。

排名

發(fā)現(xiàn)沒有:排名,是用戶是用戶唯一能感覺到的步驟,爬行與抓取、預(yù)處理,都在后臺完成。正因如此,用戶才會感到用起來十分快捷。

排名的過程也比較復(fù)雜,其中值得一提的有如下幾點:

搜索詞處理 :說白了,就是處理用戶輸入的關(guān)鍵詞。這一步對用戶來說更為關(guān)鍵,因為搜索引擎還不夠智能,需要我們?nèi)W(xué)習(xí)一些高級指令,以獲得更為精準(zhǔn)的內(nèi)容。

但由于每個關(guān)鍵詞對應(yīng)的文件數(shù)量都可能是巨大的(如幾億個),處理如此龐大的數(shù)據(jù)量,無法滿足用戶對「快」的需求。同時,用戶并不需要所有內(nèi)容,他們往往只查看前幾頁內(nèi)容,甚至很多用戶只查看第一頁的前幾條內(nèi)容。因此,選擇一定數(shù)量的內(nèi)容進(jìn)行處理,很有必要。這就涉及到 選擇初識子集 。

但如何選擇呢?這是一個問題。

選擇初識子集 :選擇出示子集,關(guān)鍵在于「 權(quán)重 」。所以說權(quán)重有多重要,即使頁面做得好,但權(quán)重不高,連做備胎的機會都沒有。

相關(guān)性計算 :這是排名過程中最重要的一步,最終搜索結(jié)果頁面的排名基本按照相關(guān)性從高到低排序。

但到此就結(jié)束了嗎?還沒有哦。

排名過濾及調(diào)整 :為了保證用戶搜索結(jié)果更符合用戶需求,搜索引擎需要過濾掉那些處心積慮鉆空子的頁面,在這一步,搜索引擎會找出這些頁面并施加懲罰。典型的例子是百度的11位。所以,過度優(yōu)化有風(fēng)險。

查詢及點擊日志 :通過這一步,搜索引擎記錄了用戶的一些數(shù)據(jù),從而為后續(xù)的優(yōu)化提供依據(jù)。這和產(chǎn)品日常工作中的數(shù)據(jù)埋點有些相似。

當(dāng)前名稱:搜索引擎工作原理
網(wǎng)站網(wǎng)址:http://m.rwnh.cn/news/72697.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計響應(yīng)式網(wǎng)站、網(wǎng)站排名動態(tài)網(wǎng)站、品牌網(wǎng)站制作電子商務(wù)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站建設(shè)網(wǎng)站維護(hù)公司
资中县| 双牌县| 鄂托克旗| 贡嘎县| 达日县| 邢台市| 赤壁市| 独山县| 婺源县| 海城市| 静安区| 瓦房店市| 博湖县| 永吉县| 株洲县| 泽库县| 安平县| 松原市| 常州市| 金川县| 凤庆县| 新干县| 建德市| 双城市| 轮台县| 东山县| 奇台县| 黑龙江省| 松原市| 厦门市| 高要市| 五河县| 衡阳市| 平山县| 浮梁县| 措勤县| 车致| 交口县| 卢湾区| 当雄县| 和政县|