分布式爬虫概述 什么是分布式爬虫: 多个爬虫分布在不同的服务器上,通过状态管理器进行统一调度,达到像URL去重等功能的爬虫系统 分布式爬虫的优点 1) 充分利用多台机器的宽带加速 2)充分利用多机器的IP加速爬取速度 Scrapy分布式爬虫原理 单机Scrapy爬虫架构 分布式爬虫需要改进的Scra ...
分类:
其他好文 时间:
2017-08-08 20:06:58
阅读次数:
163
调制解调器,英文名-modem,俗称-“猫”。港台叫做数据机。 日常生活中用的宽带,光纤都会用到“猫”。 各种信号的区别: 光、电、声,这个是从信息的载体角度来区分的; 数字、模拟,这个是从信息与时间的关系角度来区分的; ...
分类:
其他好文 时间:
2017-08-08 17:51:31
阅读次数:
125
副本放置策略CRUSH算法的设置目的是使数据能够根据设备的存储能力和宽带资源加权平均地分布,并保持一个相对的概率平衡。副本放置在具有层次结构的存储设备中,这对数据安全也有重要影响。通过反射系统的物理安装组织,CRUSH算法可以将系统模块化,从而定位潜在的设备故障。这..
分类:
其他好文 时间:
2017-08-08 00:42:46
阅读次数:
239
PCIE730是北京青翼科技一款基于PCI Express总线架构的4路10G光纤通道适配器,板卡具有4通道SFP+万兆光纤接口,x8 PCIE主机接口,具有1组64位DDR3 SDRAM作为高速缓存,可以实现4通道光纤网络数据的高速采集、实时记录和宽带回放。 该板卡还具有4个SATA接口,可以实现 ...
分类:
其他好文 时间:
2017-08-06 18:13:48
阅读次数:
191
博客搬家:因为各种原因,我如今的博客将首发于blog.mojijs.com, 能够百度搜索 “姜哥的墨迹技术博客” , 或者 点击这里 本文地址 http://blog.mojijs.com/post/68.html 昨天晚上安装了Android SDK。想安装指定版本号。可是速度超慢。1kb/s。 ...
分类:
移动开发 时间:
2017-08-06 18:01:24
阅读次数:
150
示例路由器:Tenda腾达路由器 第一步:选择自己的路由器通电后,WAN口连接家里宽带网线一端,另一端连接电信盒子 第二步:用一根网线分别连接路由器黄色插口和电脑网线插口,在浏览器上输入路由器上IP地址,选择宽带账号上网或者是自动获取IP地址上网,根据需要选择 第三步:上面步骤完成后,验证是否成功上 ...
分类:
其他好文 时间:
2017-08-05 14:13:46
阅读次数:
101
移动终端(移动通信终端 mobile terminal;MT)是指可以在移动中使用的计算机设备,广义的讲包括手机、笔记本、平板电脑、POS机甚至包括车载电脑。大部分情况下是指手机或者具有多种应用功能的智能手机以及平板电脑。 随着网络和技术朝着越来越宽带化的方向的发展,移动通信产业将走向真正的移动信息 ...
分类:
移动开发 时间:
2017-07-31 13:28:26
阅读次数:
166
IPTV就是在电视上通过宽带网络收看节目的一种形式。目前在我国,国内的iTV(IPTV)运营主体都是电信运营商(如中国电信),是由电信运营商主导的通过家庭宽带在专用网络中收看视频节目的电信服务。 一般电信提供的光猫有两个口:1. 网口,用于上网。2. 电视信号IPTV口,用来看电信的ITV的接口。 ...
分类:
移动开发 时间:
2017-07-28 09:50:14
阅读次数:
300
当我们输入网址回车或者刷新页面时,浏览器和计算机做了什么事呢? 首先就是域名解析,1.浏览器先搜索自身的DNS缓存 2.若浏览器没有找到缓存或者缓存已经失效,那么计算机搜索自身的DNS缓存 3.读取本地的HOST文件 4.浏览器发起一个DNS的一个系统调用 宽带运营商服务器查看本身缓存 运营商服务器 ...
分类:
Web程序 时间:
2017-07-27 12:48:46
阅读次数:
181
转载自:在Web GIS迅猛发展的http://blog.csdn.net/linghe301/article/details/29554257 今天,使用浏览器来进行交互以其方便性、快捷性被广大用户所推崇,那么在传输格式方面,都已比较简单的JSON或者WKT来解决网络带宽带来的数据压力。 在Arc ...
分类:
其他好文 时间:
2017-07-27 11:27:39
阅读次数:
278