今天在用scrapy爬某个网站的数据，其中DOM解析我用的是BeautifulSoup，速度上没有XPath来得快，不过因为用了习惯了，所以一直用的bs，版本是bs4不过在爬取过程中遇到了一些问题，其中一个是Unicode转码问题，这也算是python中一个著名问题了。我遇到的算是Beautiful...
分类：
其他好文 时间：
2014-07-22 22:53:55
阅读次数：
229
一、 robot framework环境搭建： 官网：http://robotframework.org/ 序号安装包名安装方法下载地址备注1pythonexe文件，直接双击安装https://www.python.org/download/releases/2.7.8/一切的基础，安装...
分类：
其他好文 时间：
2014-07-22 22:53:15
阅读次数：
213
管道是UNIX系统IPC最古老形式，并且所有UNIX系统都提供此种通信机制。管道由下面两种局限性：1）历史上，它们是半双工的（即数据只能在一个方向上流动）2）它们只能在具有公共祖先的进程之间使用。通常，一个管道由一个进程创建，然后该进程调用fork，此后父、子进程之间就可应用该管道管道由调用pipe...
分类：
其他好文 时间：
2014-07-19 22:19:57
阅读次数：
189
还在为分析nginx大日志犯愁吗？也许你会想到用shell处理，1G文件没有问题，上了10G文件，会消耗很久时间，用shell结合python多线程处理没有错。什么都不用说了，直接上代码了#!/usr/bin/python
#coding:utf8
importthreading#载入多线程模块
importtime#载入时间模块
importos#..
分类：
编程语言 时间：
2014-07-19 18:16:00
阅读次数：
216
pythonsocket服务端#!/usr/bin/python
#-*-coding:utf-8-*-
importsocket
importos,sys
host=‘127.0.0.1‘#监听的IP
port=60000#监听的端口
buffer=1024#接受的字节数
sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#建立socket对象
sock.bind((host,port))#绑定IP和端..
分类：
编程语言 时间：
2014-07-19 16:21:30
阅读次数：
256
转载请注明出处：电子科技大学EClab——落叶花开http://www.cnblogs.com/nlp-yekai/p/3848528.htmlSVD，即奇异值分解，在自然语言处理中，用来做潜在语义分析即LSI，或者LSA。最早见文章An introduction to latent semanti...
分类：
编程语言 时间：
2014-07-19 16:10:01
阅读次数：
418
import hashlib;from Crypto.Cipher import DES3import base64def create_key(sk): r=hashlib.md5(sk).digest() return r+r[:8]def init_str(s): l=len(s) % 16 ...
分类：
编程语言 时间：
2014-07-19 16:07:32
阅读次数：
192
重装了系统(ubuntu 14.04)原来正常可用的OpenERP项目在切换到开发者模式的时候报错:UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)而在服...
分类：
编程语言 时间：
2014-07-19 16:02:16
阅读次数：
242
使用Scrapy这个python的网络爬虫框架抓取Scrapy中文文档开发第一步：新建项目scrapy startproject myfirst目录结构：myfirst│ scrapy.cfg Scrapy项目配置文件│└─myfirst Scrapy项目代码存放目...
分类：
其他好文 时间：
2014-07-19 16:00:43
阅读次数：
207
Build Requirements
------------------
* Mac OS X 10.7+, Xcode 4.6+
* or Ubuntu 12.10+, CMake 2.6+
* or Windows 7+, VS 2012+
* Python 2.7.5
Runtime Requirements
--------------------
* i...
