现有的hadoop生态系统中存在的问题1）使用mapreduce进行批量离线分析；2）使用hive进行历史数据的分析；3）使用hbase进行实时数据的查询；4）使用storm进行实时的流处理；5）。。。。。。导致：维护成本高、学习成本高Spark的出现弥补了Hadoop生态系统中的缺陷，使用spar...
分类：
其他好文 时间：
2014-06-28 14:08:46
阅读次数：
306
Spire.XLS for .NET控件是e-iceblue公司开发的一款支持对所有Excel格式类型文件进行操作的.NET 控件。它适用于任何类型的应用程序比如ASP.NET Web应用程序或者Windows桌面应用程序。Spire.XLS for .NET允许软件开发人员创建和管理Excel，而...
分类：
数据库 时间：
2014-06-24 20:44:54
阅读次数：
217
一、控制Hive中Map和reduce的数量Hive中的sql查询会生成执行计划，执行计划以MapReduce的方式执行，那么结合数据和集群的大小，map和reduce的数量就会影响到sql执行的效率。除了要控制Hive生成的Job的数量，也要控制map和reduce的数量。1、map的数量，通常情...
分类：
其他好文 时间：
2014-06-23 07:48:43
阅读次数：
288
一：sqoop增量导入的两种方式Incremental import arguments:ArgumentDescription--check-column (col)Specifies the column to be examined when determining which rows to...
分类：
数据库 时间：
2014-06-23 00:58:09
阅读次数：
345
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构
化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需
要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言...
分类：
数据库 时间：
2014-06-22 22:41:52
阅读次数：
342
Hive 桶 分区 map array struct...
分类：
其他好文 时间：
2014-06-22 21:57:10
阅读次数：
184
写在前面一：
数据仓库ETL工具有很多，基于大数据环境下的分析，Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二：
所用软件说明：
一、什么是Kettle
Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transf...
分类：
其他好文 时间：
2014-06-22 12:01:20
阅读次数：
619
一、创建表 在官方的wiki里，example是这种：Sql代码 CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTI...
分类：
数据库 时间：
2014-06-21 08:34:09
阅读次数：
287
一般要两步,首先确定XLS文件(用打开对话框可以实现),再找到对应的页(作一个循环,再写入一个COMBOBOX)uses Excel97,(ExcelXP,)Excel2000 //注意顺序ExcelXP自动加添加控件: ExcelApplication1: TExcelApplication...
分类：
数据库 时间：
2014-06-20 22:36:44
阅读次数：
335
一、刚装上hive在执行hive启动的过程中出现[hadoop@localhost hive-0.6.0]$ hiveInvalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable si...
分类：
其他好文 时间：
2014-06-20 22:17:04
阅读次数：
278
