最近，由于工作的需要，学习了基于Hadoop的一个数据仓库工具hive。遇到并解决了一些问题，但是有个select语句的细微差别值得注意。 首先来看两条hql语句： SELECT * FROM MY_TABLE where dt=2014031205 limit 10 SELECT ID,NAM.....
分类：
其他好文 时间：
2014-06-28 23:54:20
阅读次数：
400
现有的hadoop生态系统中存在的问题1）使用mapreduce进行批量离线分析；2）使用hive进行历史数据的分析；3）使用hbase进行实时数据的查询；4）使用storm进行实时的流处理；5）。。。。。。导致：维护成本高、学习成本高Spark的出现弥补了Hadoop生态系统中的缺陷，使用spar...
分类：
其他好文 时间：
2014-06-28 14:08:46
阅读次数：
306
一、控制Hive中Map和reduce的数量Hive中的sql查询会生成执行计划，执行计划以MapReduce的方式执行，那么结合数据和集群的大小，map和reduce的数量就会影响到sql执行的效率。除了要控制Hive生成的Job的数量，也要控制map和reduce的数量。1、map的数量，通常情...
分类：
其他好文 时间：
2014-06-23 07:48:43
阅读次数：
288
一：sqoop增量导入的两种方式Incremental import arguments:ArgumentDescription--check-column (col)Specifies the column to be examined when determining which rows to...
分类：
数据库 时间：
2014-06-23 00:58:09
阅读次数：
345
制作PHP安装程序的原理和步骤561、制作PHP安装程序的原理和步骤检查目录或文件的权限----修改或 填加配置文件---检查配置 文件正确性---导入数据库----锁定或删除 安装文件原理： 其实PHP程序的安装原理无非就是将数据库结构和内容导入到相应的数据库中，从这个过程中重新配置连接数据库.....
分类：
Web程序 时间：
2014-06-23 00:52:50
阅读次数：
179
网上一个连接mysql的jsp代码段，给了数据库的备份文件，但是只有frm，查了下资料，原来只有frm也能导入。 过程如下：1.在mysql目录下的data目录中，找到要导入表所在的数据库的名称，把frm文件放进去，比如我这里是offer.frm，数据库名称是netshop，放到数据库netshop目录下之后，在mysql中show tables显示如下在这里table是显示的，但是desc of...
分类：
数据库 时间：
2014-06-22 17:01:04
阅读次数：
268
一、创建表 在官方的wiki里，example是这种：Sql代码 CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTI...
分类：
数据库 时间：
2014-06-21 08:34:09
阅读次数：
287
引言项目中常用到将数据导入Excel，将Excel中的数据导入数据库的功能，曾经也查找过相关的内容，将曾经用过的方案总结一下。方案一NPOINPOI 是 POI 项目的 .NET 版本。POI是一个开源的Java读写Excel、WORD等微软OLE2组件文档的项目。使用 NPOI 你就可以在没有安装...
分类：
数据库 时间：
2014-06-20 23:08:46
阅读次数：
560
一、刚装上hive在执行hive启动的过程中出现[hadoop@localhost hive-0.6.0]$ hiveInvalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable si...
分类：
其他好文 时间：
2014-06-20 22:17:04
阅读次数：
278
Default.aspx 页面代码：引用了： 导入EXCEL：导入js代码： DiryExcel.ashx 页面： public void ProcessRequest (HttpContext context) { context.Response.ContentType = "text/plai...
分类：
数据库 时间：
2014-06-20 18:34:19
阅读次数：
390
