[ 2018-09-29T00:25:42+08:00 ] 113.87.172.233 /robots.txt
ERR: 无法加载模块:Robots
从日志文件中可以看到, 域名/robots.txt, 这样访问的时候就会报错. 由于在线上就有许多爬虫, 会访问这个文件.
暂时处理方式, http://tool.chinaz.com/robots/ 在这个网站中生产一个robots文件.
[ 2018-09-29T00:25:42+08:00 ] 113.87.172.233 /robots.txt
ERR: 无法加载模块:Robots
从日志文件中可以看到, 域名/robots.txt, 这样访问的时候就会报错. 由于在线上就有许多爬虫, 会访问这个文件.
暂时处理方式, http://tool.chinaz.com/robots/ 在这个网站中生产一个robots文件.