架构 hadoop_env.sh中修改JAVA_HOME core-site.xml <property><name>fs.defaultFS</name><value>hdfs://node1:9000</value></property><property><name>hadoop.tmp.di ...
分类：
其他好文 时间：
2018-03-19 19:05:27
阅读次数：
192
一. 硬件、软件准备 1. 硬件设备 为了方便学习Hadoop，我采用了云服务器来配置Hadoop集群。集群使用三个节点，一个阿里云节点、一个腾讯云节点、一个华为云节点，其中阿里云和腾讯云都是通过使用学生优惠渠道购买了一年的云服务，华为云使用免费7天或15天的云服务器。我决定使用腾讯云节点作为Mas... ...
分类：
其他好文 时间：
2018-03-17 21:43:41
阅读次数：
394
完全分布式Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式技术准备系统规划搭建测试上线使用HDFS端口8020namenodeRPC交互端口core-site.xml50070NameNodeweb管理端口hdfs-site.xml50010datanode 控制端口hdfs-site.xml50020datanode的RPC服务器地址和端口hdfs-
分类：
其他好文 时间：
2018-03-06 17:06:15
阅读次数：
183
之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程，本来这篇文章是打算介绍搭建伪分布式集群的。但是后来想想反正伪分布式和完全分布式差不多，所幸直接介绍完全分布式了。 如果你想自己搭建伪分布式玩的话，参考：在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - ...
分类：
系统相关 时间：
2018-03-06 10:20:02
阅读次数：
279
多机数据库的实现 一、复制 slaveof 主服务器ip地址。形成主从关系。 1、同步 从向主服务器发送sync命令。 主服务器收到sync命令执行bgsave，生成rdb文件，缓冲区同时记录从现在开始执行的所有命令。 主服务器执行完毕bgsave命令，会将rdb文件发送给从服务器，从服务器接收并载 ...
分类：
数据库 时间：
2018-03-03 00:37:20
阅读次数：
166
（1）Git版本库（repository） 一个简单的数据库，包括所有用来维护与管理项目的修订版本和历史的信息。 Git维护两个主要的数据结构： 对象库（object store）—在复制操作时能进行有效复制，用来支持完全分布式VCS的一种技术。 索引（index）—暂时的信息，对版本库来说是私有的 ...
分类：
其他好文 时间：
2018-02-27 15:04:54
阅读次数：
216
（一）系统准备与安装 1.准备下载centos7 （百度自行下载）可以到开源镜像站下载，速度比较快，比如清华的或者阿里的 在vmware上安装 这里我用的是vmware12 打开Vmware 选择文件 选择自定义 选择稍后安装系统 然后下一步下一步直到 选自定义 添加iso镜像 就是你要安装的系统的... ...
分类：
其他好文 时间：
2018-02-18 16:20:49
阅读次数：
156
因为学习,在网上找了很多hbase搭建的文章,感觉这篇很好,点此 搭建好后,jps查看了后台进程,发现在slave上面没有HRegionServer进程 便查看了 slave上关于HRegionServer的日志,发现报错 如下 然后网上查了一下,说是时间不同步的问题,自己使用date命令查看了一下 ...
分类：
其他好文 时间：
2018-02-08 12:23:01
阅读次数：
168
1、前言 尽管TCP和UDP都使用相同的网络层（IP），TCP却向应用层提供与UDP完全不同的服务。TCP提供一种面向连接的、可靠的字节流服务。 面向连接意味着两个使用TCP的应用（通常是一个客户和一个服务器）在彼此交换数据之前必须先建立一个TCP连接。这一过程与打电话很相似，先拨号振铃，等待对方摘 ...
分类：
其他好文 时间：
2018-02-08 12:17:51
阅读次数：
204
1.上传 2.解压到相应的目录 3.进入到hbase的conf目录 hbase-env.sh配置文件 hbase-site.xml配置文件 regionserver配置文件 主节点配置完成之后发送到其他两个节点上. ##启动集群 ###启动ZooKeeper集群 在 ZooKeeper 集群的每台服 ...
分类：
其他好文 时间：
2018-01-28 16:29:24
阅读次数：
305
