目的： 使用命令行接口运行Mini集群，用户可以使用一个简单的命令启动或者停止一个单节点的Hadoop集群，不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。 这个案例适合想要...
分类：
其他好文 时间：
2014-10-31 13:58:20
阅读次数：
257
在hadoop中edits和fsimage是两个至关重要的文件，其中edits负责保存自最新检查点后命名空间的变化，起着日志的作用，而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的，幸运的是hadoop为此准备了专门的工具用于查看文件的内容，这些工具分别为oev和oiv，可以使用hdfs调用执行。...
分类：
其他好文 时间：
2014-10-31 12:04:14
阅读次数：
339
工作中，xcode工程遇到一个bugfile was built for archive which is not the architecture being linked armv7找了一些资料，发现这个lipo可以查看.a库的架构类型lipo -info *.a看一下是不是编译为armv7的。...
分类：
其他好文 时间：
2014-10-30 18:56:34
阅读次数：
198
Hive的几种常见的数据导入方式
这里介绍四种：
（1）、从本地文件系统中导入数据到Hive表；
（2）、从HDFS上导入数据到Hive表；
（3）、从别的表中查询出相应的数据并导入到Hive表中；
（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
一、从本地文件系统中导入数据到Hive表
先在Hive里面创建好表，如下：
...
分类：
其他好文 时间：
2014-10-29 19:29:20
阅读次数：
279
今天我们再谈谈Hive中的三种不同的数据导出方式。
根据导出的地方不一样，将这些方式分为三种：
（1）、导出到本地文件系统；
（2）、导出到HDFS中；
（3）、导出到Hive的另一个表中。
为了避免单纯的文字，我将一步一步地用命令进行说明。
一、导出到本地文件系统
hive> insert overwrite local directory ...
分类：
其他好文 时间：
2014-10-29 19:24:32
阅读次数：
233
异常日志： 2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception? for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000...
分类：
其他好文 时间：
2014-10-29 13:13:23
阅读次数：
357
设置Mapreduce的输入是HDFS上多个文件夹下的数据，输出分文件夹存储。
分类：
其他好文 时间：
2014-10-29 01:39:29
阅读次数：
241
问题一：namenode无法启动，查看日志，错误信息如下：org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: NameNode is ...
分类：
其他好文 时间：
2014-10-28 15:24:00
阅读次数：
539
一、Impala简单介绍Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用同样的统一存储平台，Impala也使用同样的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。...
分类：
其他好文 时间：
2014-10-28 15:23:23
阅读次数：
467
一、初级班全套视频1、linux使用（3节）2、伪分布模式安装hadoop（2节）3、HDFS的体系结构和操作（2节）4、HDFS的java操作方式（4节）5、代码二、中级班全套视频1、MapReduce入门（2节）2、MapReduce的源码简介和自定义类型（4节）3、mapReduce的剩余核心环节讲解（5节）4、Map..
分类：
其他好文 时间：
2014-10-28 02:14:00
阅读次数：
295
