一、需求在本地上部署了两套环境，一套用于开发环境，另一套用于测试环境。在这里，我抽其测试这套环境，做了个总结，具体安装步聚，在这里不作详细解释，如果需要，我可以提供一份我总结文档作参考。环境上用到了11台机器，注意了，在这里用到全部是cdm5.5.0版本http://archiv..
分类：
其他好文 时间：
2016-05-17 19:46:54
阅读次数：
283
sudo -u hive hive -e "use dataplat;load data local inpath '/home/dlht/data/test/2_times.csv' overwrite into table 2_times " 这时中文乱码 解决办法是，将数据转成utf-8。。 ...
分类：
Web程序 时间：
2016-05-16 12:49:31
阅读次数：
374
5 Function
指数据库内置的function，不讨论UDF。另外，操作符都不比较了，区别不大。
5.1 数学函数
功能
Oracle
Hive
Impala
ABS
绝对值，有
有
有
SIN/SINH/ASIN/COS/COSH/ACOS/TAN/T...
分类：
数据库 时间：
2016-05-15 12:38:10
阅读次数：
3979
插头DP。。 求用若干个回路走遍整张图的方案数。。然而格子是六边形的TAT 想了好久...按照列来转移好写一点。。其实和正方形格子差不多？ 膜了标程才知道，如果回路数没有限制的话。。可以只记录有没有插头，而不用去记录插头属于哪个联通块。。 （要是去记录插头属于哪个联通块就会爆long long了TA ...
分类：
其他好文 时间：
2016-05-13 23:15:25
阅读次数：
274
1 Hive的体系结构划分
用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 WUI是通过浏览器访问Hive。
Hive将元数据存储在数据库中，如my...
分类：
其他好文 时间：
2016-05-13 15:04:06
阅读次数：
211
本文介绍了在Hive中可用的内置函数。这些函数看起来非常类似于SQL的函数，除了他们的使用有点不一样。 内置函数 Hive支持以下内置函数： 返回类型 签名 描述 BIGINT round(double a) 返回BIGINT最近的double值。 BIGINT floor(double a) 返回 ...
分类：
其他好文 时间：
2016-05-13 10:01:04
阅读次数：
187
hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式...
分类：
其他好文 时间：
2016-05-13 03:06:42
阅读次数：
241
??
在线动态计算分类最热门商品案例回顾与演示
基于案例贯通Spark Streaming的运行源码
使用Spark Streaming + Spark SQL来在线动态计算电商中不同类别中最热门的商品排名，例如手机这个类别下面最热门的三款手机。
是用mysql数据库作为元数据库，使用Hive作为存储引擎，使用Spark
SQL作为查询引擎。
其中链接...
分类：
其他好文 时间：
2016-05-13 00:48:42
阅读次数：
258
SparkSql
允许spark执行sql语句，hivesql,scala的描述的基于关系的查询。其实是封装了新的RDD-SchemaRDD，由行对象组成，有一个模式描述每列的数据类型。SchemaRDD与关系型数据库的表很相似，可以通过存在的RDD/Parquet文件/Json文件/用Hive中的数据HiveSql创建。其中相关功能入口是SQLContext()及其子类。
如HiveCon...
分类：
数据库 时间：
2016-05-12 19:53:55
阅读次数：
240
hive数据导入的几种格式。包括load data、查询语句导入、动态语句导入、CTAS格式数据导入。...
分类：
其他好文 时间：
2016-05-12 18:21:19
阅读次数：
203
