Robots.txt文件是一個簡單的TXT文本，但是專注網(wǎng)站建設(shè)及網(wǎng)站優(yōu)化的Seoer們都清楚它的重要性，它的存在可以將不希望搜索引擎抓取的頁面屏蔽起來，也可以像是一張地圖一樣為蜘蛛引路指航。當(dāng)蜘蛛爬行到一個站點時，首先訪問的便是是否存在Robots.txt文件，然后按照內(nèi)容中的指引來進行索引訪問，如果文件不存在的話那么就按照頁面中的鏈接進行順序的訪問。因此我們可以利用它來屏蔽一些不需要搜索引擎要索引的目錄，或者將網(wǎng)站地圖在Robots.txt中描述引導(dǎo)蜘蛛爬行，這樣對于網(wǎng)站安全性上或者節(jié)省服務(wù)器帶寬以及引導(dǎo)索引都是非常給力的，可以說是達到了揚己之長避己之短的效果，以下我們做以具體分析：

　　一、利用Robots.txt節(jié)省服務(wù)器帶寬

　　一般來說站長很少去做這樣一個設(shè)置，然而當(dāng)服務(wù)器訪問量大內(nèi)容過于多的話就有必要做一個設(shè)置來節(jié)省服務(wù)器的帶寬，如屏蔽：image這樣的文件夾，對于搜索引擎索引來說沒有什么實際性的意義還浪費了大量的帶寬。如果對于一個圖片網(wǎng)站來說，消耗更是驚人的，所以利用Robots.txt可以充分解決這一點。

　　二、保護網(wǎng)站安全目錄

　　一般來說在設(shè)置Robots.txt時都要把管理目錄以及數(shù)據(jù)庫、備份目錄設(shè)置進去，進制蜘蛛的爬行，否則容易造成數(shù)據(jù)的泄露影響網(wǎng)站的安全。當(dāng)然還有一些管理員不希望蜘蛛索引的其他目錄，同樣可以將其進行設(shè)置，這樣來說搜索引擎就可以嚴(yán)格的遵守這個規(guī)則來進行索引。

　　三、禁止搜索引擎索引頁面

　　一個網(wǎng)站總有一些不希望公眾看到的頁面，這個時候我們可以用Robots.txt來進行設(shè)置，避免蜘蛛對其索引，如前段日子筆者網(wǎng)速比較慢結(jié)果更新了一篇文章，導(dǎo)致連續(xù)重復(fù)發(fā)布了3次，結(jié)果全部被搜索引擎索引，怎么辦呢？重復(fù)的內(nèi)容必然對網(wǎng)站優(yōu)化是不好的，這時候便可以通過設(shè)置Robots.txt來將多余的頁面屏蔽掉。

　　四、Robots.txt鏈接網(wǎng)站地圖

　　由于蜘蛛訪問網(wǎng)站首先查看的便是Robots.txt這個文件，那么我們可以將網(wǎng)站地圖設(shè)置進去，更有利于蜘蛛索引最新的信息，而少走許多冤枉路。如顯示專業(yè)網(wǎng)站建設(shè)公司引航科技的地圖頁：http://www.****.net.cn/ sitemap.xml這樣加到Robots.txt中更是有利于搜索引擎的索引。也不用每天麻煩的到搜索引擎提交地圖文件，不是很簡便嗎？

　　五、寫法及注意事項

　　對于Robots.txt寫法一定要規(guī)范，寫法上疏忽不注意的人并不在少數(shù)。首先來說：User-agent:*是必須要寫的，*表示針對所有搜索引擎。Disallow:（文件目錄）不包括括號，表示禁止搜索引擎索引的意思，一下舉個例子具體說明：

    示例1：
　　User-agent:*
    Disallow:/
    表示禁止任何搜索引擎索引訪問，

    示例2：

    User-agent:*
    Disallow:/seebk
    表示禁止搜索引擎索引訪問seebk目錄

    示例3：

　　User-agent:baiduspider
　　User-agent:*
　　Disallow:/

    表示只允許百度蜘蛛堆砌索引訪問：百度：baiduspider，谷歌：googlebot，搜搜：sosospider，alexa：ia_archiver，雅虎：Yahoo Slurp
    示例4：

    User-agent：*
    Disallow：.jpg$

    防止盜鏈jpg圖片，如果你的帶寬足夠的話可以不設(shè)置。

    后語：優(yōu)化Robots.txt揚己之長避己之短，做好Robots.txt更易網(wǎng)站順暢優(yōu)化發(fā)展