2021-12-01 分類(lèi): 網(wǎng)站建設(shè)
搜索引擎面對(duì)的是互聯(lián)網(wǎng)萬(wàn)億網(wǎng)頁(yè),如何高效抓取這么多網(wǎng)頁(yè)?這便是網(wǎng)絡(luò)爬蟲(chóng)的工作。我們也叫它網(wǎng)絡(luò)蜘蛛,做為站長(zhǎng),我們每天都在與它親密接觸。做SEO要充分了解SEO的抓取情況,同時(shí)要做好哪些頁(yè)面應(yīng)該被抓取,和哪些頁(yè)面不希望被抓取的篩選。例如,今天需要和大家講的,如何避免搜索引擎蜘蛛抓取重復(fù)頁(yè)面。
針對(duì)每一位SEO從業(yè)者而言,爬蟲(chóng)每天來(lái)我們的網(wǎng)站進(jìn)行網(wǎng)頁(yè)的抓取,是十分寶貴的資源。但在這中間由于爬蟲(chóng)無(wú)序的抓取,勢(shì)必會(huì)浪費(fèi)一些爬蟲(chóng)的抓取資源。這中間我們就需要解決搜索引擎爬蟲(chóng)對(duì)我們的網(wǎng)頁(yè)重復(fù)抓取的問(wèn)題。
在聊這個(gè)問(wèn)題之前,我們需要理解一個(gè)概念。首先爬蟲(chóng)本身是無(wú)序的抓取,他不知道先抓什么再抓什么,只知道看到了什么,且計(jì)算后認(rèn)為有價(jià)值就進(jìn)行抓取。
而對(duì)于我們而言,抓取的整個(gè)過(guò)程中,我們最要解決是如下幾類(lèi):
1、新產(chǎn)生的頁(yè)面,沒(méi)有被抓取過(guò)的
2、產(chǎn)生了一段時(shí)間,遲遲不被抓取的
3、產(chǎn)生了一段時(shí)間,卻一直沒(méi)收錄的
4、產(chǎn)生很久的頁(yè)面,但最近更新了
5、包含內(nèi)容更多的聚合頁(yè)面,如首頁(yè)、列表頁(yè)
6、如上幾類(lèi),按照順序我們定義哪一類(lèi)最需要被爬蟲(chóng)抓取。
針對(duì)大型網(wǎng)站,搜索引擎爬蟲(chóng)抓取資源過(guò)剩,而針對(duì)小網(wǎng)站,抓取資源稀缺。所以在這里我們強(qiáng)調(diào)一下,我們不是要解決搜索引起爬蟲(chóng)重復(fù)抓取的問(wèn)題,而是要解決搜索引擎爬蟲(chóng)最快的抓取我們希望抓取的頁(yè)面。要把這個(gè)思路糾正!
下面,我們聊一下怎么讓搜索引擎爬蟲(chóng)最快的抓取我們希望被抓取的頁(yè)面。
爬蟲(chóng)是抓取到一個(gè)網(wǎng)頁(yè),從這個(gè)網(wǎng)頁(yè)在找到更多的鏈接,周而復(fù)始的過(guò)程,那么這個(gè)時(shí)候我們就要知道要想被爬蟲(chóng)更大概率抓取,就要給更多的鏈接,讓搜索引擎爬蟲(chóng)發(fā)現(xiàn)我們希望被抓取的網(wǎng)頁(yè)。這里我拿上述的第一種情況舉例說(shuō)明一下:
新產(chǎn)生的頁(yè)面,沒(méi)有被抓取過(guò)的
這類(lèi)一般都會(huì)是文章頁(yè),針對(duì)于這類(lèi)我們的網(wǎng)站每天都會(huì)大量產(chǎn)生,所以我們就要在更多的網(wǎng)頁(yè)給予這部分鏈接。例如首頁(yè)、頻道頁(yè)、欄目/列表頁(yè)、專(zhuān)題聚合頁(yè)、甚至文章頁(yè)本身,都需要具備一個(gè)最新文章板塊,以此等待爬蟲(chóng)抓取到我們的任何網(wǎng)頁(yè)時(shí),都能發(fā)現(xiàn)最新的文章。
同時(shí),試想一下,這么多頁(yè)面都有新文章的鏈接,連接傳遞權(quán)重,那這新文章,既被抓取了,權(quán)重也不低。被收錄的速度會(huì)明顯提升。
那針對(duì)那些長(zhǎng)時(shí)間不收錄的,也可以考慮是不是權(quán)重太低了,我多給一些內(nèi)鏈支持,傳遞一些權(quán)重。應(yīng)該會(huì)有收錄的可能。當(dāng)然也有可能不收錄,那你就要靠?jī)?nèi)容本身的質(zhì)量了。之前有一篇文章是專(zhuān)門(mén)說(shuō)內(nèi)容質(zhì)量的也歡迎大家閱讀:什么內(nèi)容容易被百度判斷為優(yōu)質(zhì)內(nèi)容?。
所以,我們?yōu)榱私鉀Q搜索引擎爬蟲(chóng)重復(fù)抓取問(wèn)題不是我們最終要解決的。因?yàn)楸举|(zhì)上搜索引擎爬蟲(chóng)是無(wú)序的,我們只能通過(guò)針對(duì)網(wǎng)站的架構(gòu)、推薦算法、運(yùn)營(yíng)策略等進(jìn)行干預(yù)。使爬蟲(chóng)給予我們更理想的抓取效果。
以上就是《如何避免搜索引擎蜘蛛抓取重復(fù)頁(yè)面的方法》的全部?jī)?nèi)容,僅供站長(zhǎng)朋友們互動(dòng)交流學(xué)習(xí),SEO優(yōu)化是一個(gè)需要堅(jiān)持的過(guò)程,希望大家一起共同進(jìn)步。
分享標(biāo)題:【SEO優(yōu)化】如何避免搜索引擎蜘蛛抓取重復(fù)頁(yè)面的方法
本文鏈接:http://m.rwnh.cn/news41/138391.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供云服務(wù)器、定制開(kāi)發(fā)、網(wǎng)站改版、微信小程序、標(biāo)簽優(yōu)化、網(wǎng)頁(yè)設(shè)計(jì)公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話(huà):028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容