scrapy 基础

cmd
安装:pip install scrapy
scrapy加入环境变量
创建项目:scrapy startproject 文件名
cd 文件名
创建项目文件
scrapy genspider 项目名 网址url
执行爬虫
scrapy crawl 项目名

修改配置文件 settings.py

ROBOTSTXT_OBEY = False #君子协议

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}  #访问头

python 路径调用方式
本目录 .app.py  主目录 ../app/app.py

评论

刷新

友情链接