曾经的学习笔记 1.Hadoop简介: a) 分布式存储系统HDFS b) 分布式计算框架MapReduce 2.HDFS优点: a) 高容错性 b) 适合批处理 c) 适合大数据处理 d) 可构建在廉价机器上 3.HDFS的缺点: a) 低延迟数据访问 b) 小文件存取 c) 并发写入、文件随机修 ...
分类:
其他好文 时间:
2017-05-04 18:34:27
阅读次数:
188
3.1 为什么选用Solr? 在本节中。我们希望能够提供一些关键信息来帮助于你推断Solr是否是贵公司技术方案的正确选择。我们先从Solr吸引软件架构师的方面说起。 3.1 软件架构师眼中的Solr 在评估一项新技术时,软件架构师必需要考虑一系列的因素,当中就包含系统的稳定性,可伸缩性,还有容错性。 ...
分类:
其他好文 时间:
2017-04-30 10:59:02
阅读次数:
206
前面的话 每天都有各种媒体对象经由HTTP传送,如图像、文本、影片以及软件程序等。HTTP要确保它的报文被正确传送,识别、提取以及适当处理。为了实现这些目标,HTTP使用了完善的标签来描述承载内容的实体。本文将详细介绍HTTP的实体和编码 实体介绍 如果把HTTP报文想象成因特网货运系统中的箱子,那 ...
分类:
Web程序 时间:
2017-04-24 22:59:04
阅读次数:
276
模块接口测试的手段遵循测试的一些要点: 1、检查接口返回的数据是否与预期结果一致。 2、检查接口的容错性,假如传递数据的类型错误时是否可以处理。例如上面的例子是支持整数,传递的是小数或字符串呢? 3、接口参数的边界值。例如,传递的参数足够大或为负数时,接口是否可以正常处理。 4、接口的性能,接口处理 ...
分类:
其他好文 时间:
2017-04-24 13:20:23
阅读次数:
87
一、CAP理论和BASE理论 1.CAP理论 CAP理论,指的是在一个分布式系统中,不可能同时满足Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性)这三个基本需求,最多只能满足其中的两项。 对于分布式系统而言,分区容错性是一个 ...
分类:
其他好文 时间:
2017-04-23 11:53:46
阅读次数:
171
kafka是领英(Linked-in)开源的,承载着领英万亿级/天的消息数量。它具有如下特点:高吞吐量、低延迟、可扩展性、持久性、高容错性、支持高并发。 ...
分类:
其他好文 时间:
2017-04-22 15:40:18
阅读次数:
226
NoSql是一个很老的概念了,但对自己来说,仍然是一个短板,果断补上。 首先通过几个简单的例子来了解NOSQL在国内的情况(2013年左右的数据,有些过时),比如新浪微博,其就有200多台物理机运行着Redis,其结合NOSQL和MySQL一起使用,关系型数据,通过索引保存在MYSQL中,K/V数据 ...
分类:
数据库 时间:
2017-04-18 14:36:39
阅读次数:
381
kafka是一个分布式,基于subscribe-publish的消息系统 特性:高吞吐量、低延迟、可扩展性、持久性(消息持久化到本地磁盘)、可靠性、容错性(n个副本,允许n-1个节点失败)、高并发(支持数千个客户端同时读写) 设计思想: (1) Consumer group:多个consumer可以 ...
分类:
其他好文 时间:
2017-04-11 11:56:45
阅读次数:
213
jobtracker存在单点故障问题 jobtracker只支持mapreduce,计算框架不具有可扩展性 jobtracker是性能瓶颈 yarn可以整合不同的计算框架,提高资源利用率 yarn的基本架构 yarn运行过程 yarn容错性 Resource Manager 存在单点故障 正在基于z ...
分类:
其他好文 时间:
2017-04-08 21:29:25
阅读次数:
267
之前我们使用的是python的自带的解析器html.parser。官网上面还有一些其余的解析器,我们分别学习一下。 1、python自带的 2、解析速度过得去 3、容错强 1、非常快 2、容错强 BeautifulSoup(markup,['lxml','xml']) BeautifulSoup(m ...
分类:
编程语言 时间:
2017-04-04 23:28:15
阅读次数:
208