scrapy入门教程

当你想要学习爬虫技术时，Scrapy无疑是一个非常好的选择，它不仅功能强大，而且易于上手，就让我来带你走进Scrapy的世界,一起探索这个神奇的工具吧！

Scrapy简介

Scrapy是一个为了爬取网站数据而设计的开源框架，它使用Python语言编写，Scrapy可以帮助我们高效地提取网页上的信息，并以结构化的方式存储，它具有高度的可扩展性,可以应用于各种规模的爬虫项目。

安装Scrapy

我们需要在电脑上安装Python环境，打开命令行工具,输入以下命令安装Scrapy：

pip install scrapy

等待安装完成,就可以开始我们的Scrapy之旅了！

创建第一个Scrapy项目

创建项目

在命令行中，切换到你想创建项目的目录,然后输入以下命令：

scrapy startproject myfirstproject

这条命令会创建一个名为“myfirstproject”的文件夹,里面包含了以下文件和目录：

• scrapy.cfg：项目的配置文件
• myfirstproject：项目的Python模块，将会包含爬虫代码
• myfirstproject/items.py：项目中的Item文件
• myfirstproject/middlewares.py：项目中的中间件文件
• myfirstproject/pipelines.py：项目中的管道文件
• myfirstproject/settings.py：项目的设置文件

定义Item

Item是Scrapy中的核心概念，它用于保存爬取到的数据，打开myfirstproject/items.py文件,定义一个Item：

import scrapy
class MyfirstprojectItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()

这里，我们定义了一个名为“MyfirstprojectItem”的Item，包含“title”和“link”两个字段。

编写爬虫

我们需要编写爬虫代码，在myfirstproject/spiders目录下创建一个名为“my_spider.py”的文件,编写以下代码：

import scrapy
class MySpider(scrapy.Spider):
    name = "my_spider"
    allowed_domains = ["example.com"]
    start_urls = ["http://www.example.com"]
    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            item = MyfirstprojectItem()
            item['title'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()
            yield item

这里，我们定义了一个名为“MySpider”的爬虫，它将爬取“example.com”域名下的网页，通过XPath语法，我们提取了网页中“ul”标签下的“li”标签中的标题和链接。

运行爬虫

在命令行中，切换到项目目录,运行以下命令：

scrapy crawl my_spider

这时，Scrapy会启动爬虫，开始爬取指定的网站,爬取到的数据将以JSON格式输出到命令行。

数据存储

爬取到的数据可以存储到多种格式，如JSON、CSV、XML等，在Scrapy中，我们可以通过修改pipelines.py文件来实现数据存储。

以下是一个将数据存储到CSV格式的示例：

import csv
class MyfirstprojectPipeline:
    def open_spider(self, spider):
        self.file = open('items.csv', 'w', newline='')
        self.writer = csv.writer(self.file)
        self.writer.writerow(['title', 'link'])
    def close_spider(self, spider):
        self.file.close()
    def process_item(self, item, spider):
        self.writer.writerow([item['title'], item['link']])
        return item

在settings.py文件中,启用管道：

ITEM_PIPELINES = {
    'myfirstproject.pipelines.MyfirstprojectPipeline': 300,
}

总结与拓展

通过以上步骤，你已经学会了如何使用Scrapy创建一个简单的爬虫项目，Scrapy的功能远不止于此，在实际应用中,你还可以学习如何使用Scrapy的以下功能：

• 使用Request和Response对象
• 设置下载延迟和并发请求
• 使用中间件处理请求和响应
• 使用CrawlSpider爬取规则
• 部署到Scrapyd

Scrapy是一个强大的爬虫框架，掌握它将让你在爬虫领域游刃有余，希望这篇文章能帮助你迈出学习Scrapy的第一步,祝你学习愉快！