Tag: 屏蔽
Linux通过ipset批量屏蔽IP地址
linux分析web日志的时候常常需要过滤一些条件进行更有效的分析。比如排除搜索引擎爬虫,spam等内容。可能我们在Web服务器软件里(比如nginx/apache)已经禁止某些spam正确抓取网站页面。但是他们还是会连接进来消耗资源。且日志中会写入大量的日志,比如UA:cdnunion_monit ...
Apache/Nginx通过UserAgent屏蔽蜘蛛和采集
正规的搜索引擎的蜘蛛爬行我们的网站对于网站来说是有利的,但垃圾爬虫我们就需要屏蔽掉它们的访问,因为他们有的是人为来采集我们网站内容的,有的是SEO以及其他工具索引我们的网站数据建库进行分析的。它们不仅对网站内容不利,而且对于网站服务器也是一种负担。即便bot支持,但实际情况是robots.txt 根 ...