User Agent：是代表訪(fǎng)客身份的字符串標識符，簡(jiǎn)稱(chēng)：UA，中文譯名：用戶(hù)代理。

網(wǎng)絡(luò )爬蟲(chóng)蜘蛛User Agent大全，收集整理了當今互聯(lián)網(wǎng)上常見(jiàn)的搜索引擎蜘蛛UA標識和非惡意的或有惡意意圖的網(wǎng)絡(luò )爬蟲(chóng)UA標識。一般情況下，參考這些User Agent標識符，可以判斷訪(fǎng)客身份，然后可以根據實(shí)際需求屏蔽無(wú)用的、甚至是有害的爬蟲(chóng)蜘蛛。這樣能保證SEO優(yōu)化不受影響的同時(shí)，還能確保服務(wù)器的性能、安全等不受干擾。

不一定準確，User Agent是可以被偽造的。但是，對于正常的網(wǎng)絡(luò )爬蟲(chóng)、蜘蛛，它們一般都會(huì )使用自己特有的UA標識，不會(huì )刻意去偽造另一個(gè)，搜索引擎蜘蛛和網(wǎng)絡(luò )爬蟲(chóng)的User Agent標識信息一般只可能被別有用心的黑客、攻擊者用來(lái)做偽裝，所以User-Agent不應作為唯一的判定依據。

我們一般都應該將那些有“流氓”行為的采集爬蟲(chóng)或蜘蛛拒之門(mén)外，屏蔽攔截網(wǎng)絡(luò )爬蟲(chóng)的方法很多，建議使用以下兩種方法：

1、使用使用robots.txt文件阻止不友好的網(wǎng)絡(luò )爬蟲(chóng)

robots.txt是爬蟲(chóng)協(xié)議文件，可以“拒絕”或“允許”網(wǎng)絡(luò )爬蟲(chóng)進(jìn)來(lái)，但前提是爬蟲(chóng)必須遵守robots協(xié)議。事實(shí)上不是所有爬蟲(chóng)的遵守協(xié)議的，表面上都聲稱(chēng)自己的爬蟲(chóng)遵守協(xié)議，實(shí)則有可能并非如此。所以這個(gè)方法，只適合應對遵守約定的“真君子”。

2、根據User Agent來(lái)阻止不友好的網(wǎng)絡(luò )爬蟲(chóng)

可以在Linux或者Apache下配置攔截規則，例如阻攔User Agent為空的以及DotBot、Spawning-AI：

#根據user-Agent反爬蟲(chóng)
if ($http_user_agent ~* "^$|Spawning-AI|DotBot") {
    rewrite "^/(.*)$" /error/403.php last;
}
                    

也可以使用動(dòng)態(tài)語(yǔ)言腳本實(shí)現反爬蟲(chóng)的功能，例如使用PHP：

$UA = $_SERVER['HTTP_USER_AGENT'];
if(preg_match('[MJ12bot|Scrapy]i', $UA)){
    die('403');
}