詳談robots.txt 的語(yǔ)法格式！

每當(dāng)用戶試圖訪問(wèn)某個(gè)不存在的 URL 時(shí)，服務(wù)器都會(huì)在日志中記錄 404 錯(cuò)誤（無(wú)法 找到文件）。每當(dāng)搜索蜘蛛來(lái)尋找并不存在的 robots.txt 文件時(shí)，服務(wù)器也將在日志中記錄一 條 404 錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè) robots.txt。 那今天合肥網(wǎng)絡(luò)公司小李，就帶大家一起學(xué)習(xí)一下有關(guān)robots.txt 的語(yǔ)法格式 的知識(shí)！

　　“robots.txt”文件包含一條或更多的記錄，這些記錄通過(guò)空行分開(kāi)（以 CR，CR/NL, or NL 作為結(jié)束符），每一條記錄的格式如下所示： “:”。 在該文件中可以使用#進(jìn)行注解，具體使用方法和 UNIX 中的慣例一樣。該文件中的記 錄通常以一行或多行 User-agent 開(kāi)始，后面加上若干 Disallow 行，詳細(xì)情況如下：

　　User-agent:
　　在"robots.txt"文件中，如果有多條 User-agent 記錄說(shuō)明有多個(gè) robot 會(huì)受到"robots.txt"的 限制，對(duì)該文件來(lái)說(shuō)，至少要有一條 User-agent 記錄。如果該項(xiàng)的值設(shè)為*，則對(duì)任何 robot 均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。 如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干 Disallow、Allow 行，那么 名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow 和 Allow 行的限制。

　　Disallow:
　　這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以 Disallow 項(xiàng)的值開(kāi)頭的 URL 不會(huì)被 robot 訪問(wèn)。例如"Disallow:/help"禁止 robot 訪問(wèn)/help.html、/helpabc.html、 /help/index.html，而"Disallow:/help/"則允許 robot 訪問(wèn)/help.html、/helpabc.html，不能訪問(wèn)/help /index.html。 "Disallow:"說(shuō)明允許 robot 訪問(wèn)該網(wǎng)站的所有 url，在"/robots.txt"文件中，至少要有一條 Disallow 記錄。如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎 robot，該網(wǎng) 站都是開(kāi)放的。 . 要攔截整個(gè)網(wǎng)站，請(qǐng)使用正斜扛。 Disallow:/ . 要攔截目錄及其中的所有內(nèi)容，請(qǐng)?jiān)谀夸浢筇砑诱笨?Disallow:/private_directory/ . 要攔截網(wǎng)頁(yè)，請(qǐng)列出該網(wǎng)頁(yè)。 Disallow:/private_file.html

　　Allow:
　　與 Disallow 項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以 Allow 項(xiàng)的值開(kāi)頭的 URL 是允許 robot 訪問(wèn)的。例如"Allow:/hibaidu"允許 robot 訪問(wèn)/hibaidu.htm、/hibaiducom.html、/hibaidu /com.html。一個(gè)網(wǎng)站的所有 URL 默認(rèn)是 Allow 的，所以 Allow 通常與 Disallow 搭配使用，實(shí)現(xiàn)允許訪問(wèn)一部分網(wǎng)頁(yè)同時(shí)禁止訪問(wèn)其它所有 URL 的功能。 注意：Disallow 與 Allow 行的順序是有意義的，robot 會(huì)根據(jù)第一個(gè)匹配成功的 Allow 或 Disallow 行確定是否訪問(wèn)某個(gè) URL.
 
　　使用 * 匹配字符序列
　　您可使用星號(hào) (*) 來(lái)匹配字符序列。例如，要攔截對(duì)所有以"專用"開(kāi)頭的子目錄的訪問(wèn)， 可使用下列條目：
User-Agent:Googlebot 　Disallow:/專用*/ 要攔截對(duì)所有包含問(wèn)號(hào) (?) 的網(wǎng)址的訪問(wèn)，可使用下列條目： User-agent:* 　Disallow:/*? 使用 $ 匹配網(wǎng)址的結(jié)束字符
您可使用 $ 字符指定與網(wǎng)址的結(jié)束字符進(jìn)行匹配。例如，要攔截以 .asp 結(jié)尾的網(wǎng)址， 可使用下列條目： User-Agent:Googlebot Disallow:/*.asp$ 您可將此模式匹配與 Allow 指令配合使用。例如，如果 ? 表示一個(gè)會(huì)話 ID，您可排 除所有包含該 ID 的網(wǎng)址，確保搜索引擎蜘蛛不會(huì)抓取重復(fù)的網(wǎng)頁(yè)。但是，以 ? 結(jié)尾的網(wǎng)
址可能是您要包含的網(wǎng)頁(yè)版本。在此情況下，可對(duì) robots.txt 文件進(jìn)行如下設(shè)置： User-agent:*　 Allow:/*?$ 　Disallow:/*?
Disallow:/ *? 一行將攔截包含 ? 的網(wǎng)址（具體而言，它將攔截所有以您的域名開(kāi)頭、 后接任意字符串，然后是問(wèn)號(hào) (?)，而后又是任意字符串的網(wǎng)址）。
Allow: /*?$ 一行將允許包含任何以 ? 結(jié)尾的網(wǎng)址（具體而言，它將允許包含所有以您 的域名開(kāi)頭、后接任意字符串，然后是問(wèn)號(hào) (?)，問(wèn)號(hào)之后沒(méi)有任何字符的網(wǎng)址）。