怎样使用Scrapy

2016年9月29日 由 Amon 没有评论 »

参考:http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html

创建一个项目:

scrapy startproject tutorial

输出:

New Scrapy project 'tutorial', using template directory '/usr/local/lib/python2.7/dist-packages/scrapy/templates/project', created in:
    /root/tutorial

You can start your first spider with:
    cd tutorial
    scrapy genspider example example.com

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg # 项目的配置文件
    tutorial/ # 该项目的python模块。之后您将在此加入代码。
        __init__.py
        items.py # 项目中的item文件
        pipelines.py #  项目中的pipelines文件
        settings.py # 项目的设置文件.
        spiders/ # 放置spider代码的目录
            __init__.py
            ...

定义Item:

Item 是保存爬取到的数据的容器;其使用方法和python字典类似, 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field 的类属性来定义一个Item。

每个Item是一个指定的采集对象。每个url对应采集的一组Item。

首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字,url,以及网站的描述。

对此,在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field() # 标题
    link = scrapy.Field() # 链接
    desc = scrapy.Field() # 描述

编写第一个爬虫(Spider)

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。其包含了一个用于下载的初始URL,如何跟进网页中的链接以及如何分析页面中的内容, 提取生成 item 的方法。

为了创建一个Spider,您必须继承 scrapy.Spider 类, 且定义以下三个属性:

name: 用于区别Spider。 该名字必须是唯一的,您不可以为不同的Spider设定相同的名字。

start_urls: 包含了Spider在启动时进行爬取的url列表。 因此,第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。

parse() 是spider的一个方法。 被调用时,每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

以下为我们的第一个Spider代码,保存在 tutorial/spiders 目录下的 dmoz_spider.py 文件中:

import scrapy

class DmozSpider(scrapy.spiders.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        with open(filename, 'wb') as f:
            f.write(response.body)

爬取:

进入项目的根目录,执行下列命令启动spider:

scrapy crawl dmoz

crawl dmoz 启动用于爬取 dmoz.org 的spider,您将得到类似的输出:

2016-09-29 09:34:20 [scrapy] INFO: Scrapy 1.1.3 started (bot: tutorial)
2016-09-29 09:34:20 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tutorial.spiders', 'SPIDER_MODULES': ['tutorial.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'tutorial'}
2016-09-29 09:34:20 [scrapy] INFO: Enabled extensions:
['scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2016-09-29 09:34:20 [scrapy] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2016-09-29 09:34:20 [scrapy] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2016-09-29 09:34:20 [scrapy] INFO: Enabled item pipelines:
[]
2016-09-29 09:34:20 [scrapy] INFO: Spider opened
2016-09-29 09:34:20 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-09-29 09:34:20 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-09-29 09:34:21 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/robots.txt> (referer: None)
2016-09-29 09:34:21 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2016-09-29 09:34:21 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2016-09-29 09:34:21 [scrapy] INFO: Closing spider (finished)
2016-09-29 09:34:21 [scrapy] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 734,
 'downloader/request_count': 3,
 'downloader/request_method_count/GET': 3,
 'downloader/response_bytes': 15997,
 'downloader/response_count': 3,
 'downloader/response_status_count/200': 3,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2016, 9, 29, 9, 34, 21, 909921),
 'log_count/DEBUG': 4,
 'log_count/INFO': 7,
 'response_received_count': 3,
 'scheduler/dequeued': 2,
 'scheduler/dequeued/memory': 2,
 'scheduler/enqueued': 2,
 'scheduler/enqueued/memory': 2,
 'start_time': datetime.datetime(2016, 9, 29, 9, 34, 20, 533029)}
2016-09-29 09:34:21 [scrapy] INFO: Spider closed (finished)

查看包含 [dmoz] 的输出,可以看到输出的log中包含定义在 start_urls 的初始URL,并且与spider中是一一对应的。在log中可以看到其没有指向其他页面( (referer:None) )。

除此之外,更有趣的事情发生了。就像我们 parse 方法指定的那样,有两个包含url所对应的内容的文件被创建了: Book , Resources 。

刚才发生了什么?

Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象,并将 parse 方法作为回调函数(callback)赋值给了Request。

Request对象经过调度,执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

怎样查看端口是否启用

2016年9月29日 由 Amon 没有评论 »

有时候我们需要查看某一服务的默认端口,在Linux下面很好办,无需上网搜索,直接查看“/etc/server”文件就能满足需求了。这里面有一个关于端口号与服务的一个映射。

查看ipp协议默认使用的端口:

cat /etc/service|grep ipp

查看所有被打开的端口:

netstat -tanp

其中:

t:代表TCP协议的套节字链接,除了t之外还有u(UDP)、w(RAW)、x(UNIX)套节字。
a:代表全部(all),这个所谓的全部就是指包括正在监听的端口。某时某刻,有些被打开的端口正在传输据,而有的则只是在监听。
n:直接显示端口号,而不是根据“/etc/server”显示端口对应的服务名称
p:显示占用该端口号的进程。
l:显示正在被监听的端口。

关闭某一端口:

通过netstat -tanp查看某个端口是被哪个进程占用的,然后干掉该进程:

killall 进程名

怎样使用phpRedisAdmin管理Redis

2016年9月29日 由 Amon 没有评论 »

phpRedisAdmin is a simple web interface to manage Redis databases.

官网:https://github.com/ErikDubbelboer/phpRedisAdmin
演示:http://dubbelboer.com/phpRedisAdmin/

安装:

git clone https://github.com/ErikDubbelboer/phpRedisAdmin.git
cd phpRedisAdmin
git clone https://github.com/nrk/predis.git vendor

怎样安装Redis及php扩展

2016年9月29日 由 Amon 没有评论 »

Redis介绍:

Redis是一个开源、支持网络、基于内存、键值对存储数据库,使用ANSI C编写。

Redis提供了持久化存储,重启了服务器后Redis依赖快照进行持久化,即使服务器刚开机启动也不会导致负载陡增。Redis缓存比较适合大流量的Wordpress。

需要编译tcl:

要求版本8.5或者更新。

参考:https://amon.org/tcl.html

如果没有tcl,会导致编译redis时make test时报错:

make test
cd src && make test
make[1]: Entering directory `/root/redis-3.2.4/src'
You need tcl 8.5 or newer in order to run the Redis test
make[1]: *** [test] Error 1
make[1]: Leaving directory `/root/redis-3.2.4/src'
make: *** [test] Error 2

编译安装Redis:

参考:http://wiki.wooyun.org/server:redis
参考:http://www.runoob.com/redis/server-client-setname.html

下载:http://redis.io/download

最高版本是redis-3.2.4 ( 2016-06-17 )。

wget http://download.redis.io/releases/redis-3.2.4.tar.gz
tar zxvf redis-3.2.4.tar.gz && cd redis-3.2.4 && make && make test && make install

» 阅读更多: 怎样安装Redis及php扩展

怎样通过yum安装lamp

2016年9月28日 由 Amon 没有评论 »

今天要安装一个要求低版本PHP的系统,懒得一个个编译,意图全部yum安装。

准备工作

1. 重置系统(Rebuild CentOS)

CentOS7 64位

2. 更新系统内核到最新

yum -y update

3. 确认必要的工具包已经安装

yum install gcc-c++ gcc make wget

开始安装

安装Apahce、PHP:

yum -y install httpd php httpd-manual mod_ssl mod_perl php-mcrypt php-gd php-xml php-mbstring php-ldap php-pear php-xmlrpc 

安装MariaDB,以及PHP连接MariaDB库组件

yum -y install mariadb mariadb-devel mariadb-server mariadb-client mariadb-embedded mariadb-libs mariadb-bench php-mysql mysql-connector-odbc libdbi-dbd-mysql 

» 阅读更多: 怎样通过yum安装lamp