本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在 MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE(IEEE International Conference on Data Engineerin...
分类:
其他好文 时间:
2014-08-10 10:18:00
阅读次数:
315
Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境。...
分类:
数据库 时间:
2014-08-10 01:50:39
阅读次数:
449
Hive架构1)用户接口: CLI(hive shell):命令行工具;启动方式:hive 或者 hive --service cli ThriftServer:通过Thrift对外提供服务,默认端口是10000;启动方式:hive --service hiveserver WEBUI(浏览器...
分类:
其他好文 时间:
2014-08-10 01:27:29
阅读次数:
467
Hive是什么1)Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库;2)一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制;3)Hive 定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据;4)允许用Java开发自...
分类:
其他好文 时间:
2014-08-09 23:10:49
阅读次数:
288
Hive默认元数据信息存储在Derby里,Derby内置的关系型数据库、单Session的(只支持单客户端连接,两个客户端连接过去会报错);Hive支持将元数据存储在关系型数据库中,比如:Mysql/Oracle;本案例采用的是将hive的元数据存储在MySQL中,故需要先安装MySQL数据库,使用...
分类:
其他好文 时间:
2014-08-09 23:10:09
阅读次数:
337
hive0.13.1在hadoop2.4.1伪分布式部署上安装过程环境:redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署相关网址:hive官网安装指导:https://cwiki.apache.org/confluence/di...
分类:
数据库 时间:
2014-08-09 21:21:09
阅读次数:
357
Aspose.Pdffor .NETv8.6.0于昨日发布,该版本包含一个相当令人期待和兴奋的功能——就是让你能转换PDF文件为MS Excel工作簿。使用这个新的更新,开发人员就可以转换PDF文件为XLS格式,PDF文件中每个页面都以一个单独的工作表呈现。以下代码片段展示了如何使用这项功能:123...
分类:
Web程序 时间:
2014-08-09 18:19:08
阅读次数:
258
1. Impala架构 Impala是Cloudera在受到Google的Dremel启示下开发的实时交互SQL大数据查询工具,Impala没有再使用缓慢的Hive+MapReduce批处理,而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coord...
分类:
其他好文 时间:
2014-08-09 15:39:48
阅读次数:
451
Excel.ApplicationSaveAs中的第二个参数的值:可以直接用10进制的值代替左边的这些 xl类型. 例如:把excel转换为html的js:var oWB = oXL.Workbooks.open("d:\test.xls");oWB.worksheets(i).select();v...
分类:
移动开发 时间:
2014-08-08 20:51:26
阅读次数:
355
hive> select product_id, track_time from trackinfo limit 5; Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks ...
分类:
编程语言 时间:
2014-08-08 17:52:46
阅读次数:
313