Scrapy 是什么？
Scrapy 是一个开源的基于Twisted的python爬虫框架，我们只要定制几个简单的模块就能实现网络数据的爬取。
Scrapy 的整体架构
简单的解释一下上面的图:
爬虫处理的原材料是一个或多个url，爬取时Sheduler会把一个url分配给Downloader来进行一次网络的request请求，请求完成后Downloader再把所得到的res...
分类：
移动开发 时间：
2015-03-10 19:28:45
阅读次数：
259
Goldengate Veridata 是oracle一款对比数据一致性的工具，支持Oracle、Terdata、Sql Server等数据库。下面开始安装：
整体架构：
安装环境：
这里我将Veridata Server直接安装到agent1上面的：
Agent1：
name：zbdba1
OS:redhat 6.3
IP:192.168.56.60
Agent2:
n...
分类：
其他好文 时间：
2015-03-10 10:27:31
阅读次数：
213
1.概述一个软件设计的好坏，我想很大程度上取决于它的整体架构，而这个整体架构其实就是你对整个宏观商业业务的抽象框架，当代表业务逻辑的高层抽象层结构合理时，你底层的具体实现需要考虑的就仅仅是一些算法和一些具体的业务实现了。当你需要再开发另一个相近的项目时，你以..
分类：
编程语言 时间：
2015-03-10 01:32:49
阅读次数：
265
2014年12月10日，ArcGIS 10.3正式发布,新增了些功能，这里用思维导图大致绘制一下整体架构，便于索引记忆……...
分类：
其他好文 时间：
2015-03-08 23:02:59
阅读次数：
241
以上是该命令的选项
[root@com22 bin]# sh hdfs fsck /flume/events/2015/03/02/13 -racks
Connecting to namenode via http://com22.authentication:50070
FSCK started by root (auth:SIMPLE) from /192.168.11.177 fo...
分类：
其他好文 时间：
2015-03-05 17:10:00
阅读次数：
120
1. 业务说明为了便于说明，举一个简单的例子。假设现在有一个项目需要建立一个和银行交互的平台，目前只接入工商银行，后续接入其他银行，每个银行的业务都有差异，报文格式可能也不一致。这里只列举几个简要的流程，仅包括拼报文，发送报文，接收报文，解析报文，其余整体架构以及后续处理等内容省略。2. 初步设计创建一个银行交互类 BankOpt，包括四个函数：int setMsg(); //拼报文
i...
分类：
编程语言 时间：
2015-03-05 00:25:12
阅读次数：
220
架构元素真正了解分布式系统基础构件，有必要考虑如下四个问题：1、哪些实体在分布式系统中进行通讯？2、它们是如何进行通讯的， 或者说，用的是什么通讯图？3、它们在整体架构中担任什么角色或者责任？4、它们是如何映射到分布式物理系统上的？一、通讯实体可以从面向系统或者面向问题的观点来看这个问题。从系统的角...
分类：
其他好文 时间：
2015-03-04 21:01:07
阅读次数：
146
iOS API简介转自：http://book.2cto.com/201307/27019.html苹果的iOS API在不同版本间有很多变化，本书采用的是iOS 6。本节中，我们会介绍iOS 6有哪些API，如何使用这些API的帮助文档以及如何使用官方案例。2.6.1 API概述iOS的整体架构图...
分类：
移动开发 时间：
2015-03-02 16:18:32
阅读次数：
233
之前三篇文章我们简单介绍了Linux系统的用户管理，文件操作等，都是比较浅显的基本操作。这节我们要深入一下了，从文件系统我们要看到磁盘系统。从磁盘系统我们要看到操作系统的整体架构。废话不多少让我们开始学习吧！磁盘与文件系统1、磁盘系统1.1 磁盘结构如图所示，磁盘由扇区和柱面组成，分区的最小单位是柱...
分类：
系统相关 时间：
2015-02-24 23:20:48
阅读次数：
285
1. Linux电源管理全局架构Linux电源管理非常复杂，牵扯到系统级的待机、频率电压变换、系统空闲时的处理以及每个设备驱动对于系统待机的支持和每个设备的运行时电源管理，可以说和系统中的每个设备驱动都息息相关。对于消费电子产品来说，电源管理相当重要。因此，这部分工作往往在开发周期中占据相当大的比重，图1呈现了Linux内核电源管理的整体架构。大体可以归纳为如下几类：1. CPU在运...
分类：
系统相关 时间：
2015-02-21 13:11:42
阅读次数：
175
