中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

robots.txt是什么?怎么運用

2022-12-26    分類: 網站建設

作為一個網站建設加優(yōu)化的公司,是必須要回的就是robots.txt文件,所以我們就來看看這個文件的意思

robots.txt是一個純文本文件,用于聲明該網站中不想被蜘蛛訪問的部分,或者指定蜘蛛抓取的部分。不是規(guī)定,而是一種約定,需要蜘蛛自覺遵守的一種習俗

當蜘蛛訪問一個站點時,它會首先檢查該站點是否存在robots.txt

如果找到,蜘蛛就會按照該文件中的內容來確定抓取的范圍

如果該文件不存在,那么蜘蛛就沿著鏈接直接抓取

網站建設

robots.txt的作用

1、防止私密或重要內容被搜索引擎抓取

2、節(jié)省服務器資源,從而提高服務質量

3、減少重復抓取,提高網站質量

4、指定sitemap文件位置

robots.txt是什么

User-agent: *

針對哪個搜索引擎蜘蛛

這里的*代表搜索引擎種類,*是通配符

Allow

定義的是允許蜘蛛抓取某個欄目或文件

Allow: /cgi-bin/

這里定義是允許訪問cgi-bin目錄

Allow:/* .htm$

允許訪問以".htm"為后綴的URL

$指的是匹配行結束符

*指的是匹配任何字符

網站建設

Disallow

定義的是禁止蜘蛛抓取某個欄目或文件

Disallow: /admin/

這里定義是禁止抓取admin目錄

Disallow: /cgi-bin/*.htm

禁止抓取/cgi-bin/目錄下的所有以".htm"為后綴的URL

Disallow: /*?*

禁止抓取網站中所有包含問號 “?”的網址robots.txt是什么

用法:sitemap:http://www.google.com/sitemap.xml

sitemap:URL全稱(包含http://部分)

告訴搜索引擎蜘蛛這個頁面是網站地圖

robots.txt文件主要是限制整個站點或者目錄的蜘蛛訪問情況,而robots meta標簽則主要是針對某個具體的頁面

標題名稱:robots.txt是什么?怎么運用
轉載來源:http://m.rwnh.cn/news34/225334.html

成都網站建設公司_創(chuàng)新互聯,為您提供面包屑導航、建站公司、網站內鏈、全網營銷推廣Google、軟件開發(fā)

廣告

聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯

外貿網站制作
临夏县| 浦城县| 芜湖市| 孝感市| 内江市| 兴义市| 依兰县| 抚宁县| 调兵山市| 庆城县| 道孚县| 卫辉市| 东明县| 北宁市| 尤溪县| 游戏| 永定县| 于田县| 合肥市| 方城县| 景洪市| 东方市| 武川县| 屯昌县| 甘孜县| 东明县| 宁河县| 图们市| 苍南县| 湄潭县| 无极县| 洞口县| 司法| 佛教| 安徽省| 商南县| 武冈市| 措美县| 普安县| 徐汇区| 运城市|