中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

robots.txt的作用是什么?

2022-06-19    分類: 網站建設

robots.txt的作用是什么?在網站內部優(yōu)化中有很多細節(jié)優(yōu)化要注意,這些都不能忽視的,今天同樣介紹一種seo入門教程當中的基礎知識:如何設置robots.txt!要想把網站做好,做一個比較正規(guī)有權威的網站,robots文件是必不可少。

robots.txt作用

什么是robots.txt?

簡單的說robots文件是搜索引擎蜘蛛爬取網頁時要遵守的協議文件,這個文件是以記事本 txt 的形式保存在網站的根目錄下。

與此同時我們還有了解一個個概念:robot:即搜索引擎蜘蛛。它是一種搜索引擎抓取網頁內容的程序工具。

robots.txt這個文件是用來告訴搜索機器人不要爬行我們的部分網頁,比如:后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。這些頁面或文件被搜索引擎收錄了,用戶也看不了,對用戶沒幫助,既浪費了服務器資源,又增加了服務器的壓力,因此我們可以用robots.txt告訴機器人集中注意力去收錄我們的文章頁面。增強用戶體驗,減少服務器壓力。

robots.txt的作用

1. 幾乎所有的搜索引擎 Spider 都遵循 robots.txt 給出的爬行規(guī)則,協議規(guī)定搜索引擎 Spider 進入某個網站的入口即是該網站的 robots.txt,當然,前提是該網站存在此文件。對于沒有配置robots.txt 的網站,Spider 將會被重定向至404 錯誤頁面,相關研究表明,如果網站采用了自定義的 404 錯誤頁面,那么 Spider 將會把其視作 robots.txt——雖然其并非一個純粹的文本文件——這將給 Spider 索引網站帶來很大的困擾,影響搜索引擎對網站頁面的收錄。

2. robots.txt 可以制止不必要的搜索引擎占用服務器的寶貴帶寬,如 email retrievers,這類搜索引擎對大多數網站是沒有意義的;再如 image strippers,對于大多數非圖形類網站來說其也沒有太大意義,但卻耗用大量帶寬。

robots.txt的作用

3. robots.txt 可以制止搜索引擎對非公開頁面的爬行與索引,如網站的后臺程序、管理程序,事實上,對于某些在運行中產生臨時頁面的網站來說,如果未配置 robots.txt,搜索引擎甚至會索引那些臨時文件。

4. 對于內容豐富、存在很多頁面的網站來說,配置 robots.txt 的意義更為重大,因為很多時候其會遭遇到搜索引擎 Spider 給予網站的巨大壓力:洪水般的 Spider 訪問,如果不加控制,甚至會影響網站的正常訪問。

5. 同樣地,如果網站內存在重復內容,使用 robots.txt 限制部分頁面不被搜索引擎索引和收錄,可以避免網站受到搜索引擎關于 duplicate content 的懲罰,保證網站的排名不受影響。

本文標題:robots.txt的作用是什么?
分享鏈接:http://m.rwnh.cn/news41/169291.html

成都網站建設公司_創(chuàng)新互聯,為您提供網站內鏈、定制開發(fā)網站排名、建站公司外貿網站建設、品牌網站設計

廣告

聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯

成都網站建設公司
龙州县| 阿拉善右旗| 陆川县| 苏尼特左旗| 远安县| 和静县| 磴口县| 定西市| 葵青区| 河源市| 京山县| 沧州市| 顺义区| 寻乌县| 沭阳县| 高州市| 屯留县| 榆林市| 利辛县| 平罗县| 当雄县| 东阿县| 资溪县| 雷波县| 津南区| 海阳市| 岳普湖县| 韶关市| 和龙市| 启东市| 仙居县| 清苑县| 错那县| 高雄市| 象山县| 西畴县| 玉门市| 新兴县| 惠安县| 辽宁省| 久治县|