有时候，某些非常规的操作会导致将要建立数据库/表与保存在metastore里的数据库/表的信息发生冲突，导致无法建立相应的数据库/表。举个例子：如果没有使用常规的drop database/table去删除一个数据库或是表，而是直接在hdfs上删除了相应的文件夹或文件，比如：/user/hive/warehouse/xxxxx.db,然后当你重新试图使用建库脚本建库时，有可能会报出：FAILED:...
分类：
移动开发 时间：
2014-12-24 21:33:58
阅读次数：
422
1）Hadoop学习总结 （1）HDFS简介 （2）HDFS读写过程解析 （3）Map-Reduce入门 （4）Map-Reduce的过程解析 （5）Hadoop的运行痕迹 （6）Apache Hadoop 版本2）Hadoop-0.20.0源代码分析 （1）Hadoop-0.20.0...
分类：
其他好文 时间：
2014-12-23 22:29:26
阅读次数：
110
二、Hadoop伪分布式模式配置
本实验需要按照上一节单机模式部署后继续进行操作
1. 配置core-site.xml, hdfs-site.xml，mapred-site.xml及yarn-site.xml
1).修改core-site.xml:
$ sudo gvim /usr/local/hadoop/etc/core-site.xml
configurat...
分类：
其他好文 时间：
2014-12-23 21:11:31
阅读次数：
173
(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。...
分类：
系统相关 时间：
2014-12-23 21:03:15
阅读次数：
289
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从hdfs下载文件到linux 1....
分类：
其他好文 时间：
2014-12-23 20:53:31
阅读次数：
242
1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client)，被调用方(server)。 1.3 client主动发起请求，调用指定ip和port的server中的方法，把调用结果返回....
分类：
编程语言 时间：
2014-12-23 20:49:21
阅读次数：
129
HDFS简介
Hadoop说白了就是一个提供了处理分析大数据的文件集群，其中最重要的无疑是HDFS（Hadoop Distributed File System）即Hadoop分布式文件系统。
1、
HDFS是一种以流式数据访问模式（一次写入多次读取的模式）存储超大文件的系统。其不需要的高端的硬件系统，普通市面上的硬件就能满足要求。
目前不适合应用...
分类：
其他好文 时间：
2014-12-23 17:25:18
阅读次数：
184
线上一个项目需要操作hdfs和hive，在使用时报如下错误：java.lang.UnsupportedOperationException:Thisissupposedtobeoverriddenbysubclasses.
atcom.google.protobuf.GeneratedMessage.getUnknownFields(GeneratedMessage.java:180)
atorg.apache.hadoop.hdfs.protocol.proto...
分类：
其他好文 时间：
2014-12-23 06:51:06
阅读次数：
258
安装在一台节点上就可以了。1. 使用winscp上传sqoop2. 安装和配置添加sqoop到环境变量将数据库连接驱动mysql-connector-5.1.8.jar拷贝到$SQOOP_HOME/lib里### 第一类：数据库中的数据导入到HDFS上sqoop import --connect j...
分类：
其他好文 时间：
2014-12-22 21:15:29
阅读次数：
232
