[TOC] 基础 建立在Hadoop上的数据仓库(Hive的表就是HDFS的目录、数据就是HDFS的文件),定义了类似SQL的查询语言,通过它来读写和管理分布式存储的数据。它的底层执行引擎可以是MapReduce、Spark等(将SQL语句转化成M/R或者Spark语言)。 优点:简单SQL,常用于 ...
分类:
其他好文 时间:
2018-10-29 18:28:23
阅读次数:
173
参考 [Oracle开发之:窗口函数][1] [LanguageManual WindowingAndAnalytics][2] [PERCENT_RANK][3] [CUME_DIST (Transact SQL)][4] 《Hive Essentials》 《Programing Hive》 《 ...
分类:
其他好文 时间:
2018-10-29 14:08:56
阅读次数:
139
mkdir rmdir cd pwd touch ls rm chmod chown chgrp tar grep find ssh vim diff sort gzip bzip2 unzip shutdown ftp service ps free top df kill cp mv cat i ...
分类:
系统相关 时间:
2018-10-29 13:19:11
阅读次数:
218
我们都知道,离线计算有Hive,使用过的知道,需要先定义一个schema,比如针对HDFS这种存储对标mysql定义一个schema,schema的本质是什么?主要描述下面这些信息 1)当前存储的物理位置的描述 2)数据格式的组成形式 然后Hive可以让用户定义一段sql,针对上面定义的schema ...
分类:
数据库 时间:
2018-10-26 17:45:11
阅读次数:
244
一、排序 二、分区和排序实例 1.Mapper类 2.Reducer类 3.封装类 4.自定义分区类 5.Driver类 6.输入的文件part-r-00000 7.如果第5步Driver类中的红色部分去掉,则输出全局排序后的文件part-r-00000 8.如果第5步Driver类中的红色部分不去 ...
分类:
编程语言 时间:
2018-10-26 00:48:54
阅读次数:
198
一、小文件优化 1.Mapper类 2.Reducer类 3.Driver类 二、分区 1.Mapper类 2.Reducer类 3.封装类 4.分区类 5.Driver类 6.输入的文件HTTP_20180313143750.dat 7.输出的文件 ...
分类:
其他好文 时间:
2018-10-26 00:48:06
阅读次数:
168
一、MapReduce编程规范 二、MapReduce分析流量汇总 1.Mapper类 2.Reducer类 3.Driver类 4.封装类,数据的传输 5.输入的文件HTTP_20180313143750.dat 6.输出的文件part-r-00000 ...
分类:
其他好文 时间:
2018-10-25 23:47:31
阅读次数:
372
原文:Windows Presentation Foundation(WPF)中的数据绑定(使用XmlDataProvider作控件绑定) --------------------------------------------------------------------------------... ...
原文:在VS2005中设置WPF中自定义按钮的事件 上篇讲了如何在Blend中绘制圆角矩形(http://blog.csdn.net/johnsuna/archive/2007/08/13/1740781.aspx),本篇继续下一步骤,如何自定义按钮的事件。 (1)首先,在VS2005中打开上篇所建... ...
一 ,自定义函数的类别 UDF 作用于单个数据行,产生一个数据行作为输出。(数学函数,字符串函数) UDAF(用户定义聚集函数):接收多个输入数据行,并产生一个输出数据行。(count,max) 二,UDF开发实例 1,开发一个Java类,继承UDF,并重载evaluate方法(手动重载)。 2,打 ...
分类:
其他好文 时间:
2018-10-25 00:19:26
阅读次数:
182