今日小編要共享的內(nèi)容便是文件優(yōu)化。
做網(wǎng)站優(yōu)化的人應(yīng)該都知道Robots吧,咱們能夠經(jīng)過它直接與搜索引擎蜘蛛對(duì)話,通知蜘蛛哪些內(nèi)容能夠抓取,哪些內(nèi)容不能抓取。這和咱們今日要說的文件優(yōu)化相關(guān)。在進(jìn)行SEO操作的時(shí)分,咱們需求通知搜索引擎哪些頁面重要哪些頁面不重要,重要的頁面讓蜘蛛進(jìn)行抓取,不重要的頁面進(jìn)行屏蔽能夠削減網(wǎng)站服務(wù)器的擔(dān)負(fù)。
一些常見的問題和知識(shí)點(diǎn)蜘蛛在發(fā)現(xiàn)一個(gè)網(wǎng)站的時(shí)分,是抓取網(wǎng)站的Robots文件(當(dāng)然官方上是這么說的,有時(shí)分也會(huì)呈現(xiàn)不恪守的狀況);主張一切的網(wǎng)站都要設(shè)置Robots文件,假如你以為網(wǎng)站上一切內(nèi)容都是重要的,你能夠樹立一個(gè)空的robots文件;在robots文件中設(shè)置網(wǎng)站地圖你能夠在robots中增加網(wǎng)站的地圖,通知蜘蛛網(wǎng)站地圖地點(diǎn)的地址。
引擎蜘蛛程序會(huì)依據(jù)個(gè)匹配成功的Allow或Disallow行確認(rèn)是否拜訪某個(gè)URL,一個(gè)比如能夠讓你更清楚理解:User-agent:*Allow:/
搜索引擎優(yōu)化jc/bbsDisallow:/搜索引擎優(yōu)化jc/這個(gè)狀況下,蜘蛛/
搜索引擎優(yōu)化jc/bbs目錄能夠正常抓取,但/
做網(wǎng)站擎優(yōu)化jc/目錄的文件無法抓取。經(jīng)過這種方法能夠答應(yīng)蜘蛛拜訪特定目錄中的部分url.
User-agent:*Disallow:/根目錄下的文件夾/Allow:/搜索引擎優(yōu)化jc/bbs/搜索引擎優(yōu)化jc/目錄呈現(xiàn)內(nèi)行,制止抓取目錄下的一切文件,那么第二行的Allow就無效,由于行中現(xiàn)已制止抓取
搜索引擎優(yōu)化jc目錄下的一切文件,而bbs目錄正好坐落搜索引擎優(yōu)化why目錄下。因而匹配不成功。
文章名稱:Robot用法詳解及robot問題匯總
分享網(wǎng)址:http://m.rwnh.cn/news36/252786.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站營銷、關(guān)鍵詞優(yōu)化、小程序開發(fā)、云服務(wù)器、搜索引擎優(yōu)化、微信公眾號(hào)
廣告
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源:
創(chuàng)新互聯(lián)