课程目录:weekend110-第1天 01-hadoop职位需求状况 02-hadoop课程安排 03-hadoop应用场景 04-hadoop对海量数据处理的解决思路 05-hadoop版本选择和伪分布式安装 06-hadoop版本选择和伪分布式安装2 07-hdfs&mapreduce测试 0 ...
分类:
其他好文 时间:
2017-08-13 16:18:07
阅读次数:
143
1.什么是Hbase HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS ...
分类:
其他好文 时间:
2017-07-24 17:33:24
阅读次数:
166
1、首先去官网下载hbase,我下载的是hbase-1.2.6-bin.tar.gz 2、修改用户对/usr目录的操作权限 sudo chown -R 用户名 ./usr,比如我的当前用户名称为hadoop,则命令为: sudo chown -R hadoop ./usr 3、解压到/usr/loc ...
分类:
其他好文 时间:
2017-07-03 21:14:24
阅读次数:
167
前骤:HadoopCluster中的DaemonHDFS:NameNode,NN SecondaryNode,SNNDataNode:DN /data/hadoop/hdfs/{nn,snn,dn}nn:fsp_w_picpath,editlog//镜像和编辑日志 //hdfs的NN是在内存中存放数据,不断根据文件状态改变,修改元数据 fsp_w_picpath存放了:文件分割后存放在哪些node..
分类:
其他好文 时间:
2017-07-03 21:03:45
阅读次数:
191
环境 hadoop安装 解压hadoop安装包 解压到/usr/local/目录下 配置环境变量 vi /etc/profile maven、jdk、Hadoop所有添加的相关配置如下: 如果只是针对Hadoop则只加入如下配置 测试安装成功与否 命令行输入命令 成功则显示 至此,Hadoop安装完 ...
分类:
其他好文 时间:
2017-05-30 21:01:32
阅读次数:
279
參考资源下载:http://pan.baidu.com/s/1ntwUij3视频安装教程:hadoop安装.flvVirtualBox虚拟机:hadoop.part1-part5.rarhadoop文件:hadoop-2.2.0.tar.gzhadoop配置文件:hadoop_conf.tar.gz ...
分类:
其他好文 时间:
2017-05-13 22:13:24
阅读次数:
193
准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile source /etc/profile 使其立即生效 java -version 验证 二. hadoop 下载 ...
分类:
其他好文 时间:
2017-05-07 10:26:26
阅读次数:
215
文件夹 文件夹 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 暂时改动主机名 3 2.2.2. 永久改动主机名 3 2.3. 免password登录范围 4 3. 约定 4 3.1. 安装文件夹约定 4 3.2. 服务port约定 5 4. 工作详单 ...
分类:
其他好文 时间:
2017-04-29 11:59:23
阅读次数:
273
1、上传2、解压 3、重命名 4、配置hadoop环境变量5、修改配置文件5.1、编辑hadoop-env.sh,修改JAVA_HOME 5.2、编辑core-site.xml修改如下 5.3、修改hdfs-site.xml,如下 5.4、修改mapred-site.xml,如下 5.4、修改yar ...
分类:
其他好文 时间:
2017-04-25 11:44:35
阅读次数:
143
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46352315 1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点 ...
分类:
其他好文 时间:
2017-04-23 19:27:22
阅读次数:
151