利用好“Robots.txt”文件，適當屏蔽一些網(wǎng)站的內容、目錄禁止搜索引擎收錄，有利而無(wú)害。那么我們該屏蔽哪些目錄呢？
        1.可以屏蔽模板目錄
    在一個(gè)網(wǎng)站中，模板目錄、模板文件很常見(jiàn)，這些模板文件有可能會(huì )被蜘蛛捉取，但被捉取的這些內容沒(méi)有任何的作用，所以有必要屏蔽這些目錄和文件。
        2.可以屏蔽緩存目錄
    一般的網(wǎng)站，都會(huì )存在緩存目錄，里面存在的緩存文件的內容和正常頁(yè)面的內容是一樣的。如果蜘蛛捉取到重復的內容，就會(huì )影響到搜索引擎的收錄、影響到權重，所以說(shuō)很有必要屏蔽緩存目錄，禁止被捉取，以免出現重復的索引內容。
        3.可以屏蔽CSS目錄
    按道理來(lái)說(shuō)，蜘蛛是不會(huì )捉取CSS文件的，但我們?yōu)槭裁葱枰帘卧撃夸浤?？之所以屏蔽CSS目錄，是因為為了提升搜索引擎的索引的質(zhì)量而已，所以也有屏蔽的必要。