安装前准备
1. 虚拟机3个，安装Centos 6.5， 内存设置为4GB
2. 配置yum源为163（不配置，在安装软件时，慢的要死）
3. 关闭防火墙( iptables)，disabled SELinux
4. 配置静态IP，并在/etc/hosts中将Hadoop集群中的主机名加进去
安装
1. 在Cloudera官网上下载 cloudera-manager-i...
分类：
其他好文 时间：
2014-08-09 00:12:07
阅读次数：
313
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
这一节学习树状图的制作。树状图的制作和集群图完全相同，经过这两种 layout 转换后的数据也很相似。...
分类：
Web程序 时间：
2014-08-08 18:18:36
阅读次数：
356
今天突然停电使mongodb分片集群造成这种错误，暂时不知道怎么解决，如果有人知道请回复我，现在把记录下来，等后期处理。FriAug810:49:52.165[initandlisten]connectionacceptedfrom172.16.0.115:59542#2(2connectionsnowopen)FriAug810:49:52.954[initandlisten]connectionacc..
分类：
数据库 时间：
2014-08-08 16:30:07
阅读次数：
492
随着线上越来越多的系统依赖Zookeeper集群，以至于Zookeeper集群的运行状况越来越重要。但是目前还没有什么好用的Zookeeper集群监控系统（淘宝开源了一个Zookeeper监控系统，但是我觉得很不好用，里面主要有四个线程在跑，而且需要SSH登录到线上集群，这用起来很不方便。）于是我们开发了一套Zookeeper集群监控程序，可以监控Zookeeper集群。 从官方文档我们可以了解...
分类：
其他好文 时间：
2014-08-08 12:52:00
阅读次数：
247
二、LB
LoadBalance就是把负载均衡分配到集群的各个节点，从而提高整体的吞吐能力。Oracle 10g RAC提供了两种手段来实现负载，其一是通过Connection Balancing，按照某种算法把用户分配到不同的节点；其二是通过service，在应用层面上进行分散。
Connection Balancing
Connection Balancing这种负载均衡是在用户连接这个层次上进行的，也就是在用户请求建立连接时，根据每个的负载决定把连接分配到哪个实例上。而一旦建立连接之后，会话的...
分类：
其他好文 时间：
2014-08-08 12:40:35
阅读次数：
285
你需不需要一台每秒可以进行数百万亿次浮点运算的机器？或者，你想不想知道点关于你家地下室里的超级计算机是如何上电运行的趣事儿？建造一台属于自 己的计算集群——亦即超级计算机——是每个闲得发慌还有钱烧的专业极客都能做到的事情！从技术上来讲，一台现代多处理器超级计算机实际上是一个计算机网 络，这些计算机并...
分类：
其他好文 时间：
2014-08-08 11:58:05
阅读次数：
303
实施Hadoop集群--伪分布式安装准备与配置安装环境 安装虚拟机和linux，虚拟机推荐使用vmware，PC可以使用workstation，服务器可以使用ESXi，在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机，复制后自动修改网卡号和ip，非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。 以Centos为例，分区可以选择默认[如果想要手动分区,请参考博客:http:/...
分类：
其他好文 时间：
2014-08-08 09:40:15
阅读次数：
505
某500强客户要上线一个功能，其后台所有数据库是我司设计开发的NoSQL数据库。为了避免数据库集群中，数据节点不一致而导致问题，需要对数据库节点间的数据进行校验。理论上说，数据库节点之间的数据，应当保持最终一致性。而我司的数据库，是在对主节点对数据进行操作时，coord节点会（立即）通知备节点拉取数...
分类：
数据库 时间：
2014-08-08 01:52:35
阅读次数：
324
迁移系统到集群环境的时候，要仔细考虑类似Timer之类的任务是Node Level的还是Cluster Level的...
分类：
其他好文 时间：
2014-08-07 23:12:38
阅读次数：
267
