学习了scrapy 爬虫框架 觉得这个框架做数据抓取很好用，但是不支持分布式。网上查了有大牛在它基础上进行改进出了一个scrapy-redis 的框架 在网上找了很多教程，但是都没有说到基于scrapy-redis从 0 搭建分布式 爬虫框架的。 因此我决定自己从 0 开始搭建 并把整个过程记录下来 ...
分类：
其他好文 时间：
2018-02-24 19:37:39
阅读次数：
210
由于分布式系统所涉及到的领域众多，知识庞杂，很多新人在最初往往找不到头绪，不知道从何处下手来一步步学习分布式架构。 本文试图通过一个最简单的、常用的分布式系统，来阐述分布式系统中的一些基本问题。 负载均衡 分布式缓存 分布式文件系统/CDN 分布式RPC 分布式数据库/Nosql 分布式消息中间件 ...
分类：
其他好文 时间：
2018-02-24 19:35:12
阅读次数：
199
Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理。而国外的GitHub和国内的Coding都是项目的托管平台。但是在使用Git工具的时候，第一步要学会如何安装git，本教程就手把手教大家如何手动编译安装git。 1、介绍 使用Coding管理项目，上面要求使用的 ...
分类：
系统相关 时间：
2018-02-24 18:03:18
阅读次数：
182
一、系统参数优化配置 1.1 系统内核参数优化配置 修改文件/etc/sysctl.conf，使用sysctl -p命令即时生效。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 kernel.shmmax = 500000000 kernel. ...
分类：
其他好文 时间：
2018-02-24 16:45:32
阅读次数：
326
gitolite简介 轻量级git服务器程序，解决了git权限管理的问题。（git是一个分布式版本控制系统，就是说每个人作为客户端的同时又是服务器）项目GitHub地址：https://github.com/sitaramc/gitolite项目官方文档：http://gitolite.com/gi ...
分类：
其他好文 时间：
2018-02-24 15:09:08
阅读次数：
192
下载地址：网盘下载 内容简介 · · · · · · 大数据：互联网大规模数据挖掘与分布式处理，ISBN：9787115291318，作者：（美） Anand Rajaraman （美） Jeffrey David Ullman 著，王 斌 译 大数据：互联网大规模数据挖掘与分布式处理，ISBN：9 ...
分类：
其他好文 时间：
2018-02-24 15:00:18
阅读次数：
192
Varnish的子进程 VCL varnish的有限状态机 客户端和后端工作线程的详细的varnish请求流程 VCL语法 VCL函数、关键字和变量 ...
分类：
其他好文 时间：
2018-02-24 14:58:12
阅读次数：
218
简介 MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写，运行稳定，性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 查看官方网站 MongoDB特点 模式自由 :可以把不同结构的文档存储在同一个数据库里 面向集合的存储：适合存储 JSON风格文件的形式 完 ...
分类：
数据库 时间：
2018-02-24 14:54:17
阅读次数：
506
手把手教做Excel直方图 手把手教做Excel直方图 2017-10-05 作者:ExcelHome 阅读:71968次 直方图是用于展示数据的分组分布状态的一种图形，用矩形的宽度和高度表示频数分布，通过直方图，用户可以很直观的看出数据分布的形状、中心位置以及数据的离散程度等。今天就和大家一起分享 ...
分类：
其他好文 时间：
2018-02-24 14:49:17
阅读次数：
124
简介 MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写，运行稳定，性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 查看官方网站 MongoDB特点 模式自由 :可以把不同结构的文档存储在同一个数据库里 面向集合的存储：适合存储 JSON风格文件的形式 完 ...
分类：
数据库 时间：
2018-02-24 13:10:52
阅读次数：
201
