2021-10-01 分類: 網(wǎng)站建設(shè)
2. JS鏈接
Javascript可以創(chuàng)造出很多吸引人得視覺效果,有些網(wǎng)站喜歡使用Javascript腳本生成導航系統(tǒng)。這也是比較嚴重得蜘蛛陷阱之一。蜘蛛對于js也是識別不了的,對于js特效可以加入網(wǎng)站,也可以將不需要被抓取的鏈接放入js,但是需要進行爬行抓取的鏈接一定不能放入JS,這會造成蜘蛛不能繼續(xù)爬行,同時js也不要太多,可以專門建一個js文件。
3. 動態(tài)URL
我們說現(xiàn)在蜘蛛是可以抓取部分URL鏈接的,但是動態(tài)URL是數(shù)據(jù)庫直接生成的,有的帶了問號、等號等多個參數(shù)。這類網(wǎng)址不僅不利于搜索引擎蜘蛛爬行,而且還可能造成蜘蛛的死循環(huán),這是一個致命的蜘蛛陷阱。所以大多數(shù)情況都是建議大家網(wǎng)址靜態(tài)化。
4. Session ID
有些網(wǎng)站為了跟蹤用戶訪問使用Session ID,每個用戶訪問網(wǎng)站時都會生成獨特唯一得SessionID,也即ID。這個ID都是加在URL中,搜索引擎蜘蛛的每一次訪問也會被當成一個新得用戶在URL中會加上一個不同的ID,這樣蜘蛛每次來訪問時所得到的同一個頁面會是一個不一樣的URL。結(jié)果就很明顯,這樣一來會產(chǎn)生復制內(nèi)容頁面,造成了高度重復的內(nèi)容頁。
5. Frame框架
框架結(jié)構(gòu)對蜘蛛來說和Flash、js一樣都是一道墻,框架結(jié)構(gòu)也會阻礙搜索引擎蜘蛛的爬行和抓取,讓蜘蛛掉進陷阱。
6. 要求登錄
這個是很常見的,有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到得到,設(shè)置有的整個網(wǎng)站只能登陸進入后才能看,這對于用戶當然沒什么,而對于蜘蛛就造成陷阱,為什么因為蜘蛛不能填寫用戶名、密碼、也不會注冊,自然而然,蜘蛛不能進來抓取你的內(nèi)容,所以除非是VIP內(nèi)容或者是不需要蜘蛛抓取的內(nèi)容,其它的應(yīng)該對蜘蛛公開,這樣才能抓取。
7. 強制使用Cookies
有些網(wǎng)站為了實現(xiàn)某種功能、如記住用戶登錄信息、跟蹤用戶訪問路徑等、強制用戶使用Cookies、用戶瀏覽器如果沒有啟用Cookies、頁面顯示不正常。搜索引擎蜘蛛就相當于一個禁用Cookies得瀏覽器、強制使用Cookies只能造成搜索引擎蜘蛛無法正常訪問
8.各種跳轉(zhuǎn)
目前比較建議的網(wǎng)站跳轉(zhuǎn)就是301、302重定向,而其它跳轉(zhuǎn),蜘蛛是非常的敏感。因為黑帽最喜歡用跳轉(zhuǎn)這種手段了,黑了別人的網(wǎng)站,然后在別人的網(wǎng)站上掛上一個指向自己網(wǎng)站的跳轉(zhuǎn)。像js跳轉(zhuǎn)、代碼跳轉(zhuǎn)等都不建議大家隨便用,特別是如果在做404頁面一定要用代碼跳轉(zhuǎn),那建議時間在5秒以上。
9.網(wǎng)站鏈接結(jié)構(gòu)
對于蜘蛛而言,我們主要說的就是網(wǎng)站的鏈接結(jié)構(gòu),其實網(wǎng)站的鏈接結(jié)構(gòu)就等于一個房子,鏈接就是門,而蜘蛛就是我們邀請而來的朋友,網(wǎng)站鏈接結(jié)構(gòu)槽糕混亂就相當于朋友來到你家后根本就分不清楚東南西北,找不到入口出口。連對應(yīng)的鏈接都找不到,蜘蛛怎么進行抓爬所以鏈接結(jié)構(gòu)還是需要呈扁平樹狀結(jié)構(gòu)。
新聞標題:網(wǎng)站優(yōu)化:SEO從業(yè)者不得不知的蜘蛛陷阱
文章分享:http://m.rwnh.cn/news20/129270.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供商城網(wǎng)站、虛擬主機、動態(tài)網(wǎng)站、微信小程序、網(wǎng)站內(nèi)鏈、靜態(tài)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容