我们的产品中有两个Module,分别部署在独立的Linux机器上,Module 1需要向Module 2发起Http请求来获得服务。由于Module 2有多台,因此我们会在Module 2前部署一台负载均衡器(ELB,Elastic Load Balancer)。我们部署在AWS里,因此使用的是.....
分类:
其他好文 时间:
2015-06-18 18:43:00
阅读次数:
468
译自ES官方对于JVM参数的建议,原文见:
https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html
目录
1
堆空间的配置方法2
把内存留一半给Lucene3
别超过32GB!4
swap(交换区)是性能终结者...
分类:
其他好文 时间:
2015-06-17 15:24:50
阅读次数:
403
XLink 定义在 XML 文档中创建超级链接的标准方法。XPointer 允许这些超级链接指向 XML 文档中的更多具体部分(片断)。XLinkXLink 是 XML 链接语言(XML Linking Language)的缩写XLink 是用于在 XML 文档中创建超级链接的语言XLink 类似于...
分类:
其他好文 时间:
2015-06-17 14:50:19
阅读次数:
137
输入格式1、输入分片与记录
2、文件输入
3、文本输入
4、二进制输入
5、多文件输入
6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。
2、一个分片不是数据本身,而是可分片数据的引用。
3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分,有三个作用:
验证作业的输入是否规范...
分类:
其他好文 时间:
2015-06-15 00:19:57
阅读次数:
213
简述无论我们以怎样的方式从分片中读取一条记录,每读取一条记录都会调用RecordReader类;
系统默认的RecordReader是LineRecordReader,TextInputFormat;
LineRecordReader是用每行的偏移量作为map的key,每行的内容作为map的value;
而SequenceFileInputFormat的RecordReader是Sequenc...
分类:
其他好文 时间:
2015-06-14 22:54:12
阅读次数:
211
http://spark.apache.org/docs/1.2.1/streaming-programming-guide.html在SparkStreaming中如何对数据进行分片Level of Parallelism in Data ProcessingCluster resources c...
分类:
其他好文 时间:
2015-06-14 22:43:24
阅读次数:
211
Linux服务器运行久时,系统时间就会存在一定的误差,一般情况下可以使用date命令进行时间设置,但在做数据库集群分片等操作时对多台机器的时间差是有要求的,此时就需要使用ntpdate进行时间同步。date命令:date :查看当前时间,结果如下:Tue Mar 4 01:36:45 CST 201...
分类:
其他好文 时间:
2015-06-12 14:48:42
阅读次数:
5437
输入格式1、输入分片与记录
2、文件输入
3、文本输入
4、二进制输入
5、多文件输入
6、数据库格式输入1、输入分片与记录1、JobClient通过指定的输入文件的格式来生成数据分片InputSplit。
2、一个分片不是数据本身,而是可分片数据的引用。
3、InputFormat接口负责生成分片。InputFormat 负责处理MR的输入部分,有三个作用:
验证作业的输入是否规范...
分类:
其他好文 时间:
2015-06-10 22:34:49
阅读次数:
207
云服务器ECS是Elastic Compute Service的简称,是一种简单高效,处理能力可弹性伸缩的计算服务助您快速构建更稳定、安全的应用。1.ECS是什么?云服务器实例(以下简称 ECS 实例)是一个虚拟的计算环境,包含 CPU、内存等最基础的计算组件,是云服务器呈献给每个用户的实际操作实体...
分类:
其他好文 时间:
2015-06-09 19:53:17
阅读次数:
403
http://www.cnblogs.com/yuechaotian/archive/2012/10/31/2747951.html mongo-副本集分片测试 1. 启动一对副本集(增加分片参数) ?D:\mongodb>mongod --dbpath=d:\mongodb\db --port 2222 --replSet neu/127.0....
分类:
其他好文 时间:
2015-06-09 17:56:38
阅读次数:
156