install scrapy on debian 7

2016-03-28

scrapy安装

pip install zope.interface
apt-get install libxml2-dev libxslt1-dev 
pip install lxml
pip install parsel
pip install service-identity
pip install PyDispatcher
pip install cryptography
pip install Scarpy
python -c "import scrapy"

python 索引和分片

2016-03-18

index和c一样，从0开始，但是可以用负数，比如-1， -2 。意思是从尾部开始的偏移量。

S = ‘spam’
S[-1] -> ‘m’

分片

S[i:j]

意思提取是从i到j的部分作为一个序列返回。不包括S[j].

>>> S[1:3]
'pa'
>>> S[1:]
'pam'
>>> S[:3]
'spa'
>>> S[:-1]
'spa'
>>> S[:]
'spam'

S[i:j:k] 还可以设置步进，
S[::-1] 就是逆序输出了。

L[:] 相当于做了一个拷贝，

>>> L1 = [2, 3, 4]
>>> L2 = L1[:]
>>> L1[0] = 1
>>> L1
[1, 3, 4]
>>> L2
[2, 3, 4]
L1的修改不影响L2，因为L2是L1的一个拷贝了。这种分片能做一个拷贝的操作，很方便，但是只使用与序列，不能应用在其他可变列表上，如果需要复制一个字典或者集合应该使用X.copy()方法。

还有一个分片的典型场景是处理命令参数

import sys
print sys.argv
print sys.argv[1:]
% python echo1.py 1 2 3                                                                     
['echo1.py', '1', '2', '3']
['1', '2', '3']

redis pipeline

2016-03-16

redis 的pipeline效率还是超高的，比普通的12s左右。pipeline的只要2.5s左右。10w的set对比。
pipeline的原理是redis减少了和客户端之间的通信往返次数，一次性的执行了一批命令，提升了性能。

# coding: utf-8
import redis
# redis 的pipeline效率还是超高的，比普通的12s左右。pipeline的只要2.5s左右。10w的set对比。
r = redis.Redis(
    host='127.0.0.1',
    port=6379,
    db=0)
for i in range(100000):
	r.set(i,i)
pipe = r.pipeline(transaction=False)
for i in range(100000):
	pipe.set(i,i)
pipe.execute()

transcation=False指明这个是非事物型的pipeline，事物性的流水线会在命令两头加上multi和exec命令，确保多线程情况下命令能得到原子执行。

秦悦明的运维笔记

install scrapy on debian 7

python 索引和分片

index和c一样，从0开始，但是可以用负数，比如-1， -2 。意思是从尾部开始的偏移量。

分片

redis pipeline

About

Tags

Tag Cloud

Archives

Recents