要在centos下安装一个python的爬虫框架scrapy，可是一直遇到lxml无法安装，报错为 error:?command?‘gcc‘?failed?with?exit?status?1 查找资料后在Stack Overflow找到解决方法 sudo?yum?install?-y?gcc...
分类：
其他好文 时间：
2014-10-02 13:58:33
阅读次数：
175
使用scrapy下载图片的时候，用PIL老是下载不成功出现如下错误：IOError: encoder jpeg not available 据说是安装PIL之前缺少一些相关的包freetype freetype-devel libpng libpng-devel libjpeg libjpeg-de...
分类：
其他好文 时间：
2014-10-01 19:47:11
阅读次数：
164
1. spider文件from scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.contrib.linkextractors.sgml import SgmlLinkExtractorfrom scrapy.selector im...
分类：
其他好文 时间：
2014-10-01 19:29:51
阅读次数：
186
Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为：引擎打开一个域名，蜘蛛处理这个域名，然后获取第一个待爬取的URL。引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。引擎从调度那获取接下来进行爬取的页面。调度将下一个爬取的URL返回给引擎，引擎将他们通...
分类：
其他好文 时间：
2014-10-01 08:08:30
阅读次数：
427
关于win 64位机器安装Scrapy的问题：http://steamforge.net/wiki/index.php/How_to_Install_Scrapy_in_64-bit_Windows_7 在安装Scrapy是要安装一系列的依赖模块， 出现问题： 1、error: Unable to find vcvarsall...
分类：
编程语言 时间：
2014-09-30 13:46:39
阅读次数：
341
1 课程简介通过本课程熟悉BizTalk开发组件Schema/Map/Orchestration/Pipeline的开发与配置2 准备工作3 演示3.1 创建与配置BizTalk应用程序1. 打开Visual Studio，新建BizTalk应用程序2. 修改部署配置3. 创建应用程序签名4. 配置...
分类：
其他好文 时间：
2014-09-25 20:03:47
阅读次数：
419
由于开发需要有时要在流程中执行Pipeline。比如从DB的某个字段中取消息的字符串并在流程中构造消息。该需要通过pipeline进行升级 属性字段，验证消息等处理。BizTalk架构已经开放了此接口: XLANGPipelineManage类，以下为在流程中使用接收和发送端口示例。需在项目中引用M...
分类：
其他好文 时间：
2014-09-25 16:55:49
阅读次数：
242
目前BizTalk项目的开发人员比较少，但是在开发过程中还是需要命名规范的约束。根据以往BizTalk项目的经验，整理了BizTalk命 名规范。包括：BizTalk Application, Schema, Map, Pipeline, Orchestration Logic Port, Phy....
分类：
其他好文 时间：
2014-09-25 16:40:49
阅读次数：
234
流水线功能的目的：通过减少客户端与服务器之间的通信次数来提高程序的执行效率。一、通信在一般情况下， 用户每执行一个 Redis 命令，客户端与服务器都需要进行一次通信：客户端会将命令请求发送给服务器，而服务器则会将执行命令所得的结果返回给客户端。当程序执行一些复杂的操作时， 客户端可能需要执行多个命...
分类：
其他好文 时间：
2014-09-22 22:08:43
阅读次数：
237
A pending tag system and method to maintain data coherence in a processing node during pending transactions in a transaction pipeline. A pending tag s...
分类：
其他好文 时间：
2014-09-22 18:41:03
阅读次数：
232
