曾经的学习笔记 1.Hadoop简介： a) 分布式存储系统HDFS b) 分布式计算框架MapReduce 2.HDFS优点： a) 高容错性 b) 适合批处理 c) 适合大数据处理 d) 可构建在廉价机器上 3.HDFS的缺点： a) 低延迟数据访问 b) 小文件存取 c) 并发写入、文件随机修 ...
分类：
其他好文 时间：
2017-05-04 18:34:27
阅读次数：
188
3.1 为什么选用Solr？ 在本节中。我们希望能够提供一些关键信息来帮助于你推断Solr是否是贵公司技术方案的正确选择。我们先从Solr吸引软件架构师的方面说起。 3.1 软件架构师眼中的Solr 在评估一项新技术时，软件架构师必需要考虑一系列的因素，当中就包含系统的稳定性，可伸缩性，还有容错性。 ...
分类：
其他好文 时间：
2017-04-30 10:59:02
阅读次数：
206
前面的话 每天都有各种媒体对象经由HTTP传送，如图像、文本、影片以及软件程序等。HTTP要确保它的报文被正确传送，识别、提取以及适当处理。为了实现这些目标，HTTP使用了完善的标签来描述承载内容的实体。本文将详细介绍HTTP的实体和编码 实体介绍 如果把HTTP报文想象成因特网货运系统中的箱子，那 ...
分类：
Web程序 时间：
2017-04-24 22:59:04
阅读次数：
276
模块接口测试的手段遵循测试的一些要点： 1、检查接口返回的数据是否与预期结果一致。 2、检查接口的容错性，假如传递数据的类型错误时是否可以处理。例如上面的例子是支持整数，传递的是小数或字符串呢？ 3、接口参数的边界值。例如，传递的参数足够大或为负数时，接口是否可以正常处理。 4、接口的性能，接口处理 ...
分类：
其他好文 时间：
2017-04-24 13:20:23
阅读次数：
87
一、CAP理论和BASE理论 1.CAP理论 CAP理论，指的是在一个分布式系统中，不可能同时满足Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性）这三个基本需求，最多只能满足其中的两项。 对于分布式系统而言，分区容错性是一个 ...
分类：
其他好文 时间：
2017-04-23 11:53:46
阅读次数：
171
kafka是领英（Linked-in）开源的，承载着领英万亿级/天的消息数量。它具有如下特点：高吞吐量、低延迟、可扩展性、持久性、高容错性、支持高并发。 ...
分类：
其他好文 时间：
2017-04-22 15:40:18
阅读次数：
226
NoSql是一个很老的概念了，但对自己来说，仍然是一个短板，果断补上。 首先通过几个简单的例子来了解NOSQL在国内的情况(2013年左右的数据，有些过时)，比如新浪微博，其就有200多台物理机运行着Redis，其结合NOSQL和MySQL一起使用，关系型数据，通过索引保存在MYSQL中，K/V数据 ...
分类：
数据库 时间：
2017-04-18 14:36:39
阅读次数：
381
kafka是一个分布式，基于subscribe-publish的消息系统 特性：高吞吐量、低延迟、可扩展性、持久性（消息持久化到本地磁盘）、可靠性、容错性（n个副本，允许n-1个节点失败）、高并发（支持数千个客户端同时读写） 设计思想： （1） Consumer group：多个consumer可以 ...
分类：
其他好文 时间：
2017-04-11 11:56:45
阅读次数：
213
jobtracker存在单点故障问题 jobtracker只支持mapreduce，计算框架不具有可扩展性 jobtracker是性能瓶颈 yarn可以整合不同的计算框架，提高资源利用率 yarn的基本架构 yarn运行过程 yarn容错性 Resource Manager 存在单点故障 正在基于z ...
分类：
其他好文 时间：
2017-04-08 21:29:25
阅读次数：
267
之前我们使用的是python的自带的解析器html.parser。官网上面还有一些其余的解析器，我们分别学习一下。 1、python自带的 2、解析速度过得去 3、容错强 1、非常快 2、容错强 BeautifulSoup(markup,['lxml','xml']) BeautifulSoup(m ...
分类：
编程语言 时间：
2017-04-04 23:28:15
阅读次数：
208
