存档在 2016年9月

怎样编译安装PHP5.3.*

2016年9月30日

因为调试一个老程序,不得不降级。

实证:

1. 适用于php-5.2.17,但是因为http2.4.*不再支持php5.2.*,需要将Apache降级到 httpd-2.2.31。

2. 适用于php-5.3.*

下载:http://museum.php.net/php5/

编译安装php-5.2.17:

wget http://museum.php.net/php5/php-5.2.17.tar.gz && tar zxvf php-5.2.17.tar.gz && cd php-5.2.17
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --with-apxs2=/usr/local/apache2/bin/apxs
make
make install

编译安装php-5.3.3:

wget http://museum.php.net/php5/php-5.3.3.tar.gz && tar zxvf php-5.3.3.tar.gz && cd php-5.3.3
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --with-apxs2=/usr/local/apache2/bin/apxs
make ZEND_EXTRA_LIBS='-liconv'
make install

编译安装php-5.3.29:

wget http://museum.php.net/php5/php-5.3.29.tar.gz && tar zxvf php-5.3.29.tar.gz && cd php-5.3.29
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --with-apxs2=/usr/local/apache2/bin/apxs
make ZEND_EXTRA_LIBS='-liconv'
make install

报错1:

make时报错:

...
/root/php-5.3.3/ext/dom/node.c: In function ‘dom_canonicalization’:
/root/php-5.3.3/ext/dom/node.c:1903:21: error: dereferencing pointer to incomplete type
    ret = buf->buffer->use;
                     ^
In file included from /root/php-5.3.3/main/php.h:38:0,
                 from /root/php-5.3.3/ext/dom/node.c:26:
/root/php-5.3.3/ext/dom/node.c:1905:40: error: dereferencing pointer to incomplete type
     RETVAL_STRINGL((char *) buf->buffer->content, ret, 1);
                                        ^
/root/php-5.3.3/Zend/zend_API.h:545:20: note: in definition of macro ‘ZVAL_STRINGL’
   const char *__s=(s); int __l=l;  \
                    ^
/root/php-5.3.3/ext/dom/node.c:1905:5: note: in expansion of macro ‘RETVAL_STRINGL’
     RETVAL_STRINGL((char *) buf->buffer->content, ret, 1);
     ^
make: *** [ext/dom/node.lo] Error 1

参考:http://blog.csdn.net/moqiang02/article/details/19699557

有一个补丁可以解决问题:

cd /root/php-5.3.3/
curl -o php-5.x.x.patch https://mail.gnome.org/archives/xml/2012-August/txtbgxGXAvz4N.txt
patch -p0 -b < php-5.x.x.patch

输出:

patching file ext/dom/node.c
Hunk #1 succeeded at 1900 (offset 5 lines).
patching file ext/dom/documenttype.c
patching file ext/simplexml/simplexml.c
Hunk #1 succeeded at 1385 (offset -32 lines).

然后重新make。

报错2:

make时报错:

...
ext/iconv/iconv.o: In function `php_iconv_stream_filter_dtor':
/root/php-5.3.3/ext/iconv/iconv.c:2440: undefined reference to `libiconv_close'
ext/iconv/iconv.o: In function `_php_iconv_appendl':
/root/php-5.3.3/ext/iconv/iconv.c:337: undefined reference to `libiconv'
/root/php-5.3.3/ext/iconv/iconv.c:374: undefined reference to `libiconv'
...
collect2: error: ld returned 1 exit status

参考:http://blog.csdn.net/21aspnet/article/details/6925644

编辑 Makefile ,在 81 行末尾添加 -liconv :

EXTRA_LIBS = -lcrypt -lresolv -lcrypt -lrt -lm -ldl -lnsl -lxml2 -lz -llzma -lm -ldl -lxml2 -lz -llzma -lm -ldl -lxml2 -lz -llzma -lm -ldl -lcrypt -lxml2 -lz -llzma -lm -ldl -lxml2 -lz -llzma -lm -ldl -lxml2 -lz -llzma -lm -ldl -lcrypt -liconv

然后重新make,顺利通过; make install,顺利编译完成。

创建软连接:

ln -s /usr/local/php/bin/php /usr/local/bin/
ln -s /usr/local/php/bin/phpize /usr/local/bin/
ln -s /usr/local/php/bin/php-config /usr/local/bin/

查看版本:

php -v

输出:

PHP 5.2.17 (cli) (built: Jan  8 2017 04:31:43)
Copyright (c) 1997-2010 The PHP Group
Zend Engine v2.2.0, Copyright (c) 1998-2010 Zend Technologies

怎样使用Scrapy

2016年9月29日

参考:http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial

创建一个项目:

scrapy startproject tutorial

输出:

New Scrapy project 'tutorial', using template directory '/usr/local/lib/python2.7/dist-packages/scrapy/templates/project', created in:
    /root/tutorial

You can start your first spider with:
    cd tutorial
    scrapy genspider example example.com

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg # 项目的配置文件
    tutorial/ # 该项目的python模块。之后您将在此加入代码。
        __init__.py
        items.py # 项目中的item文件
        pipelines.py #  项目中的pipelines文件
        settings.py # 项目的设置文件.
        spiders/ # 放置spider代码的目录
            __init__.py
            ...

定义Item:

Item 是保存爬取到的数据的容器;其使用方法和python字典类似, 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field 的类属性来定义一个Item。

每个Item是一个指定的采集对象。每个url对应采集的一组Item。

首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字,url,以及网站的描述。

对此,在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field() # 标题
    link = scrapy.Field() # 链接
    desc = scrapy.Field() # 描述

编写第一个爬虫(Spider)

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。其包含了一个用于下载的初始URL,如何跟进网页中的链接以及如何分析页面中的内容, 提取生成 item 的方法。

为了创建一个Spider,您必须继承 scrapy.Spider 类, 且定义以下三个属性:

name: 用于区别Spider。 该名字必须是唯一的,您不可以为不同的Spider设定相同的名字。

start_urls: 包含了Spider在启动时进行爬取的url列表。 因此,第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。

parse() 是spider的一个方法。 被调用时,每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

以下为我们的第一个Spider代码,保存在 tutorial/spiders 目录下的 dmoz_spider.py 文件中:

import scrapy

class DmozSpider(scrapy.spiders.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        with open(filename, 'wb') as f:
            f.write(response.body)

爬取:

进入项目的根目录,执行下列命令启动spider:

scrapy crawl dmoz

crawl dmoz 启动用于爬取 dmoz.org 的spider,您将得到类似的输出:

2016-09-29 09:34:20 [scrapy] INFO: Scrapy 1.1.3 started (bot: tutorial)
2016-09-29 09:34:20 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tutorial.spiders', 'SPIDER_MODULES': ['tutorial.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'tutorial'}
2016-09-29 09:34:20 [scrapy] INFO: Enabled extensions:
['scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.corestats.CoreStats']
2016-09-29 09:34:20 [scrapy] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2016-09-29 09:34:20 [scrapy] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2016-09-29 09:34:20 [scrapy] INFO: Enabled item pipelines:
[]
2016-09-29 09:34:20 [scrapy] INFO: Spider opened
2016-09-29 09:34:20 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-09-29 09:34:20 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-09-29 09:34:21 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/robots.txt> (referer: None)
2016-09-29 09:34:21 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2016-09-29 09:34:21 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2016-09-29 09:34:21 [scrapy] INFO: Closing spider (finished)
2016-09-29 09:34:21 [scrapy] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 734,
 'downloader/request_count': 3,
 'downloader/request_method_count/GET': 3,
 'downloader/response_bytes': 15997,
 'downloader/response_count': 3,
 'downloader/response_status_count/200': 3,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2016, 9, 29, 9, 34, 21, 909921),
 'log_count/DEBUG': 4,
 'log_count/INFO': 7,
 'response_received_count': 3,
 'scheduler/dequeued': 2,
 'scheduler/dequeued/memory': 2,
 'scheduler/enqueued': 2,
 'scheduler/enqueued/memory': 2,
 'start_time': datetime.datetime(2016, 9, 29, 9, 34, 20, 533029)}
2016-09-29 09:34:21 [scrapy] INFO: Spider closed (finished)

查看包含 [dmoz] 的输出,可以看到输出的log中包含定义在 start_urls 的初始URL,并且与spider中是一一对应的。在log中可以看到其没有指向其他页面( (referer:None) )。

除此之外,更有趣的事情发生了。就像我们 parse 方法指定的那样,有两个包含url所对应的内容的文件被创建了: Book , Resources 。

刚才发生了什么?

Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象,并将 parse 方法作为回调函数(callback)赋值给了Request。

Request对象经过调度,执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

怎样查看端口是否启用

2016年9月29日

有时候我们需要查看某一服务的默认端口,在Linux下面很好办,无需上网搜索,直接查看“/etc/server”文件就能满足需求了。这里面有一个关于端口号与服务的一个映射。

查看ipp协议默认使用的端口:

cat /etc/service|grep ipp

查看所有被打开的端口:

netstat -tanp

其中:

t:代表TCP协议的套节字链接,除了t之外还有u(UDP)、w(RAW)、x(UNIX)套节字。
a:代表全部(all),这个所谓的全部就是指包括正在监听的端口。某时某刻,有些被打开的端口正在传输据,而有的则只是在监听。
n:直接显示端口号,而不是根据“/etc/server”显示端口对应的服务名称
p:显示占用该端口号的进程。
l:显示正在被监听的端口。

关闭某一端口:

通过netstat -tanp查看某个端口是被哪个进程占用的,然后干掉该进程:

killall 进程名

怎样使用phpRedisAdmin管理Redis

2016年9月29日

phpRedisAdmin is a simple web interface to manage Redis databases.

官网:https://github.com/ErikDubbelboer/phpRedisAdmin
演示:http://dubbelboer.com/phpRedisAdmin/

安装:

git clone https://github.com/ErikDubbelboer/phpRedisAdmin.git
cd phpRedisAdmin
git clone https://github.com/nrk/predis.git vendor

怎样安装Redis及php扩展

2016年9月29日

Redis介绍:

Redis是一个开源、支持网络、基于内存、键值对存储数据库,使用ANSI C编写。

Redis提供了持久化存储,重启了服务器后Redis依赖快照进行持久化,即使服务器刚开机启动也不会导致负载陡增。Redis缓存比较适合大流量的Wordpress。

需要编译tcl:

要求版本8.5或者更新。

参考:https://amon.org/tcl

如果没有tcl,会导致编译redis时make test时报错:

make test
cd src && make test
make[1]: Entering directory `/root/redis-3.2.4/src'
You need tcl 8.5 or newer in order to run the Redis test
make[1]: *** [test] Error 1
make[1]: Leaving directory `/root/redis-3.2.4/src'
make: *** [test] Error 2

编译安装Redis:

参考:http://wiki.wooyun.org/server:redis
参考:http://www.runoob.com/redis/server-client-setname

下载:http://redis.io/download

最高版本是redis-3.2.4 ( 2016-06-17 )。

wget http://download.redis.io/releases/redis-3.2.4.tar.gz
tar zxvf redis-3.2.4.tar.gz && cd redis-3.2.4 && make && make test && make install

» 阅读更多: 怎样安装Redis及php扩展