SemrushBot robot是什么蜘蛛？怎么屏蔽垃圾蜘蛛爬虫，屏蔽ip段？
SemrushBot robot (identified by 'spider')是什么蜘蛛？
一般的蜘蛛都会在后台控制面板中显示名字，例如baidu，google，yahoo，alexa等等，但是如果你用的虚拟主机是cpanel的控制面板，那么发现Unknown robot (identified by 'spider')这个蜘蛛消耗很大的网站流量，那么可以推测这个是百度蜘蛛，因为cpanel的控制面板默认是不识别百度蜘蛛的，所以就会显示为Unknown robot (identified by 'spider')。而且通过robots.txt是无法禁止这个蜘蛛抓取网站内容的——这些垃圾爬虫不可能老老实实遵守robots规则，君不见新浪和字节前段时间还因为robots.txt打了官司，大厂都如此，其他爬虫更别指望。
宝塔屏蔽常见垃圾蜘蛛和扫描工具的两种办法：最近观察网站后台网站蜘蛛爬取状况，除了我们常见的搜索引擎如百度、Google、Sogou、360等搜索引擎蜘蛛之外，还发现有很多垃圾的蜘蛛平繁的爬取本站，通常这些搜索引擎不仅不会带来流量，因为大量的抓取请求，还会造成主机的CPU和带宽资源浪费，屏蔽方法也很简单，按照下面步骤操作即可，原理就是分析指定UA然后屏蔽。
下面给大家带来两种屏蔽垃圾蜘蛛的方法
方法一 通过网站Robots.txt来屏蔽
| 1234567891011121314151617181920212223242526272829303132 | User-agent: AhrefsBotDisallow: /User-agent: DotBotDisallow: /User-agent: SemrushBotDisallow: /User-agent: UptimebotDisallow: /User-agent: MJ12botDisallow: /User-agent: MegaIndex.ruDisallow: /User-agent: ZoominfoBotDisallow: /User-agent: Mail.RuDisallow: /User-agent: SeznamBotDisallow: /User-agent: BLEXBotDisallow: /User-agent: ExtLinksBotDisallow: /User-agent: aiHitBotDisallow: /User-agent: ResearchscanDisallow: /User-agent: DnyzBotDisallow: /User-agent: spbotDisallow: /User-agent: YandexBotDisallow: / |
JavaScript
把以上代码复制到网站robots.txt里面
方法二、通过宝塔面板配置文件判断来屏蔽垃圾蜘蛛和扫描工具
1.首先进入宝塔面板，文件管理进入/www/server/nginx/conf目录，新建空白文件kill_bot.conf。然后将以下代码保存到当前文件中。
#禁止垃圾搜索引擎蜘蛛抓取教程来自编程笔记
| 123456789 | if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms") { return 403; break;}#禁止扫描工具客户端if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy" ) { return 403; break;} |
2.保存后返回到宝塔 – 【网站】-【设置】点击左侧 【配置文件】选项卡，在 “#SSL-START SSL相关配置，请勿删除或修改下一行带注释的404规则” 上方空白行插入红色字体的代码：“include kill_bot.conf; ” 保存后即可生效，这样这些蜘蛛或工具扫描网站的时候就会提示403禁止访问。
希望这个教程能帮助到大家，谢谢支持！
相关文章
- c# 爬虫组件有哪些？
- Nginx常用屏蔽规则 - 防止垃圾蜘蛛
- IP、域名查询
- PHP获取客户端真实IP地址
- 通过Linux命令分析Nginx日志得知百度蜘蛛的爬行情况
- Linux中如何释放DHCP获取的IP地址并重新获取
- 使用Python爬虫下载某网站图片
- Python实现简易采集爬虫
- 如何用python做一个简单的爬虫代码-范例
- Java的内存释放机制：垃圾回收详解
- 解决Python并发爬虫中的IP封禁问题
- Java调用IP代理接口实现软件IP转换
- C/C++语言中socket IP地址的结构体
- Windows中C语言如何获取本机的所有IP地址
- 如何申请固定IP地址
- SQL Server2019无法通过IP登录和连接数据库