scrapy的简单使用
发布于2019-08-07 16:51 阅读(1073) 评论(0) 点赞(3) 收藏(1)
使用之前的创建虚拟环境方法（pipenv）
创建虚拟环境并进入虚拟环境
mkdir douban
cd douban pipenv install pipenv shell
再安装我们的scrapy
pipenv install scrapy
然后创建项目
scrapy startproject doubanmovie
cd doubanmovie
scrapy genspider douban_movie （这里加入你想要爬的网站url）
再使用pychram打开这个目录
写好代码后在pycharm下方点击终端输入
scrapy crawl douban_movie
scrapy crawl douban_movie -o detail.json #为json格式保存
scrapy crawl douban_movie -o detail.jl #以行的形式保存
scrapy crawl douban_movie -o detail.csv #以csv文件格式保存
scrapy crawl douban_movie -o detail.xml #以xml文件格式保存
运行任务
简单使用结束
所属网站分类: 技术文章 > 博客
作者：风卷尘沙起
链接：https://www.pythonheidong.com/blog/article/11800/c8c90ac879b4553b3f37/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力