Tag: 通过
pagespeed产生的404页面通过rewrite批量301重定向
有个项目所在的服务器有多个网站,之前服务器使用了apache时安装了google的pagespeed模块,后来其中一个网站关闭了pagespeed模块,最近从每天收到的日志分析邮件中会有少许的404报告。从有到无后出现404,对网站的搜索引擎优化是极为不利的,所以必须解决,不能解决也得想办法解决。# ...
Linux通过ipset批量屏蔽IP地址
linux分析web日志的时候常常需要过滤一些条件进行更有效的分析。比如排除搜索引擎爬虫,spam等内容。可能我们在Web服务器软件里(比如nginx/apache)已经禁止某些spam正确抓取网站页面。但是他们还是会连接进来消耗资源。且日志中会写入大量的日志,比如UA:cdnunion_monit ...
Apache/Nginx通过UserAgent屏蔽蜘蛛和采集
正规的搜索引擎的蜘蛛爬行我们的网站对于网站来说是有利的,但垃圾爬虫我们就需要屏蔽掉它们的访问,因为他们有的是人为来采集我们网站内容的,有的是SEO以及其他工具索引我们的网站数据建库进行分析的。它们不仅对网站内容不利,而且对于网站服务器也是一种负担。即便bot支持,但实际情况是robots.txt 根 ...
HTML Formatter通过PHP将代码格式化输出
似乎没找到NGINX APACHE模块实现将代码格式化输出,在github上找到一个PHP实现的。HTML FormatterHTML Formatter re-indents HTML. This is not clean or safe at the moment, but I couldn't ...
Linux通过SSH导出和导入mysql数据库的方法
SSH下导出和导出mysql数据库非常简单。SSH登陆VPS后通过一个命令即可完成mysql数据库的导入和导出。SSH导出数据库,命令格式:[root@localhost ~]# mysqldump -u (用户名) -p(密码) (数据库名) > /home/wwwroot/seonoco. ...