https://github.com/jacky-pony/base/tree/master/python/scrapy

执行爬虫方式

1. scrapy crawl ainav -o ainav14.csv

FAQ

• mac pycharm安装视频进入终端的时候没有自动进入虚拟环境venv 处理: 手动命令source venv/bin/activate
• mac pycharm在编辑代码的时候, 不会提示已有的类和包, 也需要手动在文件头部自己加

说明: sel = Selector(response) 在敲sel = Sel 这个时候pycharm应该提示可以选择的包selector然后再文件顶部追加引用代码

from spider2107.items import MovieItem

目前处理: 手动追加这段引用代码

相关资料

scrapy官方文档

scrapy视频教程

scrapy文字教程

Python项目git忽略模板