Scrapy メモ

scrapy install

$ pip install scrapy

scrapyプロジェクト開始

scrapy startproject コマンド+ プロジェクト名

$ scrapy startproject myproject
$ cd myproject

spider作成

scrapy genspider コマンド + spider名 + ドメイン名

$ scrapy genspider news news.yahoo.co.jp

scrapy shell起動

scrapy shell コマンド + url

$ scrapy shell http://xxx.com