1 mysql数据导入到hdfs数据 hadoop提供了org.apache.hadoop.io.Writable接口来实现简单的高效的可序列化的协议，该类基于DataInput和DataOutput来实现相关的功能。 hadoop对数据库访问也提供了org.apache.hadoop.mapred ...
分类：
数据库 时间：
2019-05-16 21:45:20
阅读次数：
187
1．HIVE和HBASE区别 1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不 ...
分类：
其他好文 时间：
2019-05-15 00:27:15
阅读次数：
155
——————————————————面试题———————————————————————————— 第一套 1.hadoop运行原理 包括HDFS和Mapreduce两部分。 1）HDFS自动保存多个副本，移动计算。缺点是小文件存取占用namenode内存，写入只支持追加，不能随机修改。 它存储的逻 ...
分类：
编程语言 时间：
2019-05-14 19:04:45
阅读次数：
139
一.Hadoop2.x产生背景 1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。 2.HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 3.MapReduce存在的问题 1.JobTr ...
分类：
其他好文 时间：
2019-05-14 18:57:19
阅读次数：
196
可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中 一、保存结果到本地 方法1：调用hive标准输出，将查询结果写到指定的文件中 方法2：使用INSERT OVERWRITE LOCAL DIRECTORY结果到本地 ...
分类：
其他好文 时间：
2019-05-14 11:25:54
阅读次数：
457
1、flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终 ...
分类：
Web程序 时间：
2019-05-13 12:38:20
阅读次数：
125
HDFS命令基本格式：hadoop fs -cmd < args > ls 命令hadoop fs -ls /列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件 put 命令hadoop fs -put < local file > < ...
分类：
其他好文 时间：
2019-05-11 09:35:57
阅读次数：
103
1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件 ...
分类：
其他好文 时间：
2019-05-11 09:25:26
阅读次数：
101
创建一个文件夹 bin/hdfs dfs -mkdir /input 将要统计的文件上传到hadoopbin/hadoop fs -put /test.txt /input 利用hadoop进行词频统计bin/hadoop jar share/hadoop/tools/lib/Hadoop-stre ...
分类：
其他好文 时间：
2019-05-10 16:16:13
阅读次数：
101
一、定义agent，并运行1、配置文件#计划##收集hive的日志，存到hdfs/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log命令：tail -f source：Exec source 在启动时运行一个给定的Unix命令，并期望该进程在标准输出上不... ...
分类：
其他好文 时间：
2019-05-08 14:44:10
阅读次数：
214
