中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

如何屏蔽搜索引擎蜘蛛對網(wǎng)站的抓???

要知道在seo優(yōu)化的過程當中,有時候是需要對搜索引擎蜘蛛進行屏蔽的,就是禁止對網(wǎng)站的某個地方進行抓取,那么我們應該如何屏蔽搜索引擎蜘蛛呢?下面我們一起來看一看具體的操作方法。網(wǎng)站建設★網(wǎng)站設計★網(wǎng)站制作★網(wǎng)頁設計-800元全包;企業(yè)網(wǎng)絡推廣☆網(wǎng)站優(yōu)化☆seo☆關鍵詞排名☆百度快照-2200元全年展示;做網(wǎng)站優(yōu)化排名-網(wǎng)站建設公司

站在用戶的角度思考問題,與客戶深入溝通,找到浙江網(wǎng)站設計與浙江網(wǎng)站推廣的解決方案,憑借多年的經(jīng)驗,讓設計與互聯(lián)網(wǎng)技術結合,創(chuàng)造個性化、用戶體驗好的作品,建站類型包括:做網(wǎng)站、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、空間域名、網(wǎng)頁空間、企業(yè)郵箱。業(yè)務覆蓋浙江地區(qū)。

百度蜘蛛抓取我們的網(wǎng)站,希望我們的網(wǎng)頁能被包含在它的搜索引擎中。將來,當用戶搜索時,它會給我們帶來一定量的搜索引擎優(yōu)化流量。當然,我們不想讓搜索引擎抓取所有東西。

因此,此時我們只希望能夠抓取搜索引擎搜索到的內(nèi)容。例如,用戶的隱私和背景信息不希望搜索引擎被捕獲和包含。解決這些問題有兩種最佳方法,如下所示:

如何屏蔽搜索引擎蜘蛛對網(wǎng)站的抓???

robots協(xié)議文件屏蔽百度蜘蛛抓取

robots協(xié)議是放在網(wǎng)站根目錄下的協(xié)議文件,可以通過網(wǎng)址訪問,當百度蜘蛛抓取我們的網(wǎng)站時,它會先訪問這個文件。因為它告訴蜘蛛哪些能抓,哪些不能。

robots協(xié)議文件的設置比較簡單,可以通過User-Agent、Disallow、Allow這三個參數(shù)進行設置。

User-Agent:對不同搜索引擎的聲明;

Disallow:不允許抓取的目錄或頁面;

Allow:被允許抓取的目錄或頁面通??梢允÷曰虿粚懀驗槿绻悴粚懭魏尾荒茏ト〉臇|西,它就可以被抓取。

下面我們來看一個示例,場景是我不希望百度抓取我網(wǎng)站所有的css文件,data目錄、seo-tag.html頁面

User-Agent:BaidusppiderDisallow:/*.cssDisallow:/data/Disallow:/seo/seo-tag.html

如上所述,user-agent聲明了蜘蛛的名稱,這意味著它針對的是百度蜘蛛。以下內(nèi)容無法獲?。uot;/*。css",首先/指的是根目錄,這是您的域名。*是代表任何內(nèi)容的通配符。這意味著無法抓取以.css結尾的所有文件。這是你自己的兩個經(jīng)歷。邏輯是一樣的。

通過403狀態(tài)碼,限制內(nèi)容輸出,屏蔽蜘蛛抓取。

403狀態(tài)代碼是http協(xié)議中的網(wǎng)頁返回狀態(tài)代碼。當搜索引擎遇到403狀態(tài)代碼時,它知道這些頁面受權限限制。我無法訪問它。例如,如果您需要登錄才能查看內(nèi)容,搜索引擎本身將無法登錄。如果您返回403,他也知道這是權限設置頁面,無法讀取內(nèi)容。當然,它不會被包括在內(nèi)。

返回403狀態(tài)代碼時,應該有一個類似于404頁面的頁面。提示用戶或蜘蛛執(zhí)行他們想要訪問的內(nèi)容。兩者都是不可或缺的。您只有提示頁面,狀態(tài)代碼返回200,這是百度蜘蛛的大量重復頁面。有403個狀態(tài)代碼但返回不同的內(nèi)容。這也不是很友好。

最后,對于機器人協(xié)議,我想補充一點:“現(xiàn)在,搜索引擎將通過網(wǎng)頁的布局和布局來識別網(wǎng)頁的用戶友好性。如果阻止css文件和js文件相關到布局,然后搜索引擎我不知道你的網(wǎng)頁布局是好是壞。因此不建議阻止這些內(nèi)容來自蜘蛛。

文章標題:如何屏蔽搜索引擎蜘蛛對網(wǎng)站的抓???
文章位置:http://m.rwnh.cn/article46/dghedeg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站設計公司網(wǎng)站建設、建站公司、網(wǎng)站策劃、靜態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化
汾西县| 西和县| 海淀区| 临朐县| 汉源县| 山丹县| 柳林县| 尚志市| 历史| 图们市| 清水河县| 花垣县| 县级市| 花垣县| 温宿县| 汉阴县| 六盘水市| 嵊泗县| 沿河| 新乡市| 遵化市| 剑川县| 绵竹市| 彰武县| 中西区| 红安县| 仁化县| 西吉县| 蒙城县| 石嘴山市| 克东县| 浦东新区| 高清| 阆中市| 达日县| 府谷县| 嘉定区| 遵化市| 洛阳市| 高碑店市| 亚东县|