Hadoop中自己提供了一个RPC的框架。集群中各节点的通讯都使用了那个框架 1.服务端 1.1.业务接口：ClientNamenodeProtocol 1.2.业务接口实现类：MyNameNode 1.3.服务端类：将业务实现类发布为一个服务 2.客户端 我们也可以在自己的项目中使用Hadoop的 ...
分类：
其他好文 时间：
2018-06-19 13:53:05
阅读次数：
162
1. 创建数据库，切换数据库 2. 创建管理表 emp.txt文件内容如下： 在hadoop中查看数据，如下: 3. 创建外部表 创建外部表时直接指定表位置 上传数据文件到指定路径 在hive中创建数据表指定location 4. 创建分区表 注：分区字段不能与表中其他字段重复，否则报错 FAILE ...
分类：
其他好文 时间：
2018-06-17 00:46:02
阅读次数：
229
1. MapReduce使用 MapReduce是Hadoop中的分布式运算编程框架，只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现 一个强大的海量数据并发处理程序 2. 运行Hadoop自带的MapReduce程序（word count单词统计功能） 1.在HDFS中创建层级目录，并且上 ...
分类：
其他好文 时间：
2018-06-16 11:56:36
阅读次数：
154
https://www.cnblogs.com/ejiyuan/p/5591613.html HBase简介 HBase是Apache Hadoop中的一个子项目，是一个HBase是一个开源的、分布式的、多版本的、面向列的、非关系(NoSQL)的、可伸缩性分布式数据存储模型，Hbase依托于Hado ...
分类：
数据库 时间：
2018-06-15 13:06:11
阅读次数：
231
1.Mapper 1.1 泛型参数 Mapper有四个泛型参数,Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>: KEYIN:默认读取的一行文本的起始偏移量.Long类型,在Hadoop中包装成LongWriteable VALUEIN:默认读取的一行文本的字符串信 ...
分类：
其他好文 时间：
2018-06-06 18:24:08
阅读次数：
619
经常管理和监控，需要进行shell编程，直接对进程kill或者重启操作。我们需要进行快速定位到每个进程的pid号pid默认存储在/tmp目录pid内容为进程号ps-ef|grephadoop出现PIDA,B,C可能误杀B,C[hadoop@hadoop000sbin]$cathadoop-daemon.sh|greppid#HADOOPPIDDIRThepidfilesarestored./tmp
分类：
系统相关 时间：
2018-05-21 16:58:11
阅读次数：
230
hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop 2.5.0 cdh5.3.6/etc/hadoop目录，修改hadoop env.sh，core site.xml，hdfs site.xml，mapred site.xml ，yar ...
分类：
其他好文 时间：
2018-05-06 19:59:57
阅读次数：
169
Hadoop中的日志包含三个部分，Application Master产生的运行日志和Container的日志。 一、ApplicationMaster产生的作业运行日志 Application Master产生的日志信息详细记录了Map Reduce job的启动时间，运行时间，用了多少个Mapp ...
分类：
其他好文 时间：
2018-05-02 02:39:01
阅读次数：
146
一、序列化 1 hadoop自定义了数据类型，在hadoop中，所有的key/value类型必须实现Writable接口。有两个方法，一个是write，一个是readFileds。分别用于读（反序列化操作）和写（序列化操作）。 2 所有的key必须实现Comparable接口，在MapReduce过 ...
分类：
其他好文 时间：
2018-04-28 11:42:18
阅读次数：
231
环境 问题 ，安装完Hadoop之后操作总报这样的警告，但是不影响使用 [WARN ] 2018-04-18 18:07:39,897 method:org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62)U ...
分类：
移动开发 时间：
2018-04-18 21:22:21
阅读次数：
439
