HDFS的shell操作和JavaAPI的使用： WEB WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。 WEB端口50070可以查看HDFS的信息和目录结构 SHELL 查看 创建文件夹 新建文件 查 ...
概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到 ...
分类：
Web程序 时间：
2019-02-22 00:35:29
阅读次数：
222
（1）-help：输出这个命令参数bin/hdfs dfs -help rm（2）-ls: 显示目录信息hadoop fs -ls /（3）-mkdir：在hdfs上创建目录hadoop fs -mkdir -p /aaa/bbb/cc/dd（4）-moveFromLocal从本地剪切粘贴到hdfs ...
分类：
其他好文 时间：
2019-02-21 17:31:24
阅读次数：
186
Sqoop: 1、sqoop从数据库中导入数据到HDFS 2、SQOOP从数据库导入数据到hive 3、sqoop从hive中将数据导出到数据库 sqoop底层还是执行的mapreduce程序，，但是特殊的地方只有map TASK 可以实现：企业级数据仓库、文档型系统、关系型数据库<--> sqoo ...
分类：
其他好文 时间：
2019-02-21 12:27:51
阅读次数：
301
第6章 Hadoop企业优化（重中之重）6.1 MapReduce 跑的慢的原因6.2 MapReduce优化方法6.2.1 数据输入6.2.2 Map阶段6.2.3 Reduce阶段6.2.4 I/O传输6.2.5 数据倾斜问题6.2.6 常用的调优参数6.3 HDFS小文件优化方法6.3.1 H ...
分类：
其他好文 时间：
2019-02-21 00:11:15
阅读次数：
172
部署hbase的集群首先我们要需要一个hadoop集群、至少要有一个hdfs的集群和zookeeper集群用HA集群的可用性号，由于做实验，没必要这么多集群，那么就不用HA集群第一步看一下hdfs是否正常启动hdfsstart-dfs.sh启动zookeeper看是否正常(每台机器上都手动启动zookeeper)./zkServer.shstart检查zookeeper的工作状态./zkServe
分类：
其他好文 时间：
2019-02-20 09:32:14
阅读次数：
218
1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件， ...
分类：
其他好文 时间：
2019-02-19 21:17:52
阅读次数：
228
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库 ...
分类：
其他好文 时间：
2019-02-18 18:44:00
阅读次数：
179
本文进行了以下工作： 预备知识 和各种大型关系型数据库（如sql server和oracle等）一样，Hadoop有自己的文件系统，在操作系统中只能看到文件，用文件工具强制打开以后是无法理解的乱码，只能通过Hadoop系统去管理和读取。 所以OS的文件系统和hadoop的文件系统是相互独立的，要用h ...
分类：
其他好文 时间：
2019-02-18 10:16:45
阅读次数：
240
