当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root ...
分类：
其他好文 时间：
2019-03-29 22:18:54
阅读次数：
226
基本原理 HDFS（Hadoop Distributed File System）是Hadoop的一个基础的分布式文件系统，这个分布式的概念主要体现在两个地方： 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 针对于 ...
分类：
其他好文 时间：
2019-03-28 00:09:31
阅读次数：
158
案例分析： 需要将hdfs上的数据导出到mysql里的一张表里。 虚拟机集群的为：centos1-centos5 问题1： 在centos1上将hdfs上的数据导出到centos1上的mysql里： 改成： 报错： 问题2： 在centos3上将hdfs上的数据导出到centos1上的mysql里： ...
分类：
其他好文 时间：
2019-03-27 21:11:12
阅读次数：
167
hbase特点及简介： hbase源自于谷歌的三大论文之一 GFS -- hdfs MapReduce - MR BigTable - hbase hbase在以Hadoop为基础的生态圈中的地位 hbase和Hadoop的hdfs结合使用，构建在hdfs上的数据库（hbase为hdfs上的海量的结... ...
分类：
其他好文 时间：
2019-03-26 22:37:59
阅读次数：
191
需求 将HDFS上的数据解析出来，然后通过hfile方式批量写入Hbase（需要多列写入） 写入数据的关键api： 特殊地方： 1）： 最初写hfile警告??： 这个原因大概3种： A：代码问题 B：数据源问题 C：setMapOutputKeyClass 和 saveAsNewAPIHadoop ...
分类：
其他好文 时间：
2019-03-26 22:30:17
阅读次数：
379
datanode启动不成功，如下所示，我的136,137.138都是datanode，都启动不了。 查看datanode日志文件发现报错： 一个报错Incompatible clusterIDs in /home/hadoop/data/datanode，需要删除core-site.xml中配置的h ...
分类：
其他好文 时间：
2019-03-26 01:34:54
阅读次数：
194
一、HDFS集群API所需要jar包的maven配置信息 二、从HDFS下载数据文件/上传文件到HDFS文件系统 思路：1.获取配置信息 2.设置配置信息(块大小、副本数) 3.构造客户端 4.下载数据文件/上传数据文件 5.关闭资源 (1)下载文件 （2）上传文件 三、对HDFS系统进行操作的AP ...
先说一下环境，我用的是hadoop3.1.1 + zookeeper3.4.6 + hive3.1.1。采用多用户模式搭建hive，建表、导入数据等很正常。select如果是hdfs操作也很正常，但如果涉及到MapReduce操作就有个很奇怪的现象：每次启动hive以后，第一次select的时候可以 ...
分类：
其他好文 时间：
2019-03-19 16:54:21
阅读次数：
431
碰到的问题 （1）线程操作问题，因为单机节点，代码加锁就好了，后续再写 （2） 消费者写hdfs的时候以流的形式写入，但是什么时候关闭流就是一个大问题了，这里引入了 fsDataOutputStream.hsync(); 生产者 1 package com.xuliugen.kafka.demo; ...
分类：
其他好文 时间：
2019-03-19 15:03:25
阅读次数：
119
Hadoop是目前最常用的一个大数据分析工具，其核心组成是HDFS和MapReduce。本文对Hadoop2.0的基本安装和配置进行了一个概述，希望对Hadoop感兴趣的人能够对Hadoop有进一步的了解
分类：
其他好文 时间：
2019-03-18 18:38:33
阅读次数：
145
