Sqoop介绍 http://sqoop.apache.org http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 1.什么是Sqoop? 将关系数据库(oracle,mysql,postgresql)数据与hadoop数据进行转换的工具 2 ...
分类：
其他好文 时间：
2017-03-12 16:34:10
阅读次数：
178
仅做记录 >官方说明：http://hadoop.apache.org/docs/r3.0.0-alpha2/index.html 1. JDK版本的最低依赖从1.7变成了1.8 2. HDFS支持Erasure Encoding 3. Timeline Server v2版本 4. hadoop- ...
分类：
其他好文 时间：
2017-02-27 19:05:48
阅读次数：
257
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby org.apache.ha ...
分类：
其他好文 时间：
2017-02-24 14:19:06
阅读次数：
259
进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main) ...
分类：
其他好文 时间：
2017-02-09 12:51:48
阅读次数：
168
一：介绍 1.Spark的模式 Local：本地运行模式，主要用于开发、测试 Standalone：使用Spark自带的资源管理框架运行Spark程序，30%左右 Yarn: 将spark应用程序运行在yarn上，绝大多数使用情况，60%左右 Mesos： 二：安装 1.解压 2.建立软连接 3.复 ...
分类：
其他好文 时间：
2017-02-05 23:03:47
阅读次数：
549
大数据分析处理架构图 数据源： 除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性； 计算层： 内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理 ...
分类：
其他好文 时间：
2017-01-26 17:20:38
阅读次数：
678
