一、Linux常用脚本
1.查看进程
ps -ef|grep -i tom
2.SCP从远程复制到本地目录
scp root@/172.19.2.75:/home/root/full.tar.gz /home/daisy/full.tar.gz
3.查看目录
pwd
4.查看hadoop集群状态...
分类：
系统相关 时间：
2015-06-18 15:26:35
阅读次数：
250
1.导入Eclipse编码jar包
hadoop-auth-2.4.0.2.1.3.0-563.jar
hadoop-common-2.4.0.2.1.3.0-563.jar
hive-exec-0.13.0.2.1.3.0-563.jar
2.代码
import org.apache.hadoop.hive.ql.exec.Descrip...
分类：
其他好文 时间：
2015-06-18 15:25:53
阅读次数：
158
最近工作需要，调研了一下LinkedIn开源的用于复杂大数据分析的高性能计算引擎Cubert。自己测了下，感觉比较适合做报表统计中的Cube计算和Join计算，效率往往比Hive高很多倍，节省资源和时间。下面看下这个框架的介绍：
Cubert完全用Java开发，并提供一种脚本语言。它是针对报表领域里经常出现的复杂连接和聚合而设计的。Cubert使用MeshJoin算法处理大时间窗口下的大数据集，...
分类：
其他好文 时间：
2015-06-18 13:41:54
阅读次数：
253
如果HIVE的输入文件是大量的小文件，而每个文件启动一个map的话是对yarn资源的浪费，同样的，Hive输出的文件也远远小于HDFS块大小，对后续处理也是不利的...
分类：
其他好文 时间：
2015-06-18 11:32:27
阅读次数：
126
hive中支持两种类型的分区：静态分区SP（static partition），动态分区DP（dynamic partition）
静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细来说，静态分区的列实在编译时期，通过用户传递来决定的；动态分区只有在SQL执行时才能决定。...
分类：
其他好文 时间：
2015-06-18 09:52:50
阅读次数：
212
To configure Hive for use with HiveServer2, include the following configuration properties in the .../hive-site.xmlconfiguration file. hive.support.c....
分类：
其他好文 时间：
2015-06-17 23:14:12
阅读次数：
304
1、Hive安装 http://blog.csdn.net/an342647823/article/details/46048403 2、Hadoop安装 http://www.itnose.net/detail/6182168.html 3、Spark安装 http://stark-summer.iteye.com/blog/2173219 http://ju.outof...
分类：
其他好文 时间：
2015-06-16 23:10:06
阅读次数：
280
运行环境 集群环境：CDH5.3.0 具体JAR版本如下： spark版本：1.2.0-cdh5.3.0 hive版本：0.13.1-cdh5.3.0 hadoop版本：2.5.0-cdh5.3.0 spark sql的JAVA版简单示例 spark sql直接查询JSON格式的数据 spark sql的自定...
分类：
数据库 时间：
2015-06-16 19:39:20
阅读次数：
394
依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中
1.把数据从mysql导入到hdfs(默认是/user/)中
sqoop import --connect jdbc:mysql://hadoop0:330...
分类：
其他好文 时间：
2015-06-16 14:48:00
阅读次数：
117
