语法： 通过语法可以看出 over里有两个参数， partition by 和 order by ，其中partition by是可以不写的，但是order by是必须有的。可能对order by 比较熟悉（就是按什么排序），但 partition by是什么意思呢？partition 的中文解释是 ...
分类：
其他好文 时间：
2018-11-15 10:20:33
阅读次数：
216
基于hadoop：存储真实数据用hdfs、计算引擎之一是mr，元数据一般存储在mysql或其他关系型数据库中 用于离线分析olap，数据仓库软件 关系型数据库三范式： 每个列必须是原子性的不可拆分 非关键属性必须依赖关键属性的全部字段，而不能仅依赖关键属性的部分字段 没关键属性只能依赖关键属性，而不 ...
分类：
其他好文 时间：
2018-11-14 20:52:55
阅读次数：
201
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.问题描述CDH中默认不支持Lzo压缩编码，需要下载额外的Parcel包，才能让Hadoop相关组件如HDFS，Hive，Spark支持Lzo编码。具体请参考：https://www.cloudera.com/documentation/enterprise/latest/topics/cm\_mc\_gpl\_extras.html
分类：
其他好文 时间：
2018-11-14 18:53:06
阅读次数：
160
网上查询了许许多多的博客，说利用 poi、iText、Jsoup、jdoctopdf、使用 jodconverter 来调用 openOffice 的服务来转换等等，我尝试了很多种，但要么显示不完全，要么可是可能有问题，使用这个 jacob 的方法我最开始是最不想用的，因为它要导入 dll 文件，但 ...
分类：
编程语言 时间：
2018-11-14 16:43:16
阅读次数：
236
1.创建一个表 （字段表名不加引号‘，分隔符需要加引号） 2.插入数据 ·filepath 可以是： 相对路径，如project/data1 绝对路径，如/user/hive/project/data1 完整的URL，如hdfs://namenode:9000/user/hive/project/d ...
分类：
其他好文 时间：
2018-11-14 12:25:06
阅读次数：
143
问题内容 今天遇到了一个需求,需求就是时间段为5分钟的统计.有数据的时间戳.对成交单量进行统计. 想法思路 因为数据有时间戳,可以通过from_unixtime()来获取具体的时间. 有了具体的时间,就可以用minute()函数获取对应数据所在的分钟.(minute()获取到的分钟为字符串,需要进行 ...
分类：
其他好文 时间：
2018-11-14 01:13:15
阅读次数：
699
概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
分类：
其他好文 时间：
2018-11-13 20:39:57
阅读次数：
245
1概述本文档描述CENTOS7.2操作系统部署CDH企业版的过程。Cloudera企业级数据中心的安装主要分为4个步骤：1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；2.外部数据库安装3.安装Cloudera管理器；4.安装CDH集群；集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。这篇文档将着重介绍Cloudera管理器与CDH的安装，
分类：
其他好文 时间：
2018-11-13 20:36:49
阅读次数：
249
大数据学习路径我vx①⑤零零③④③⑥⑨③①备注A更多大数据第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算kafka→storm→red
分类：
其他好文 时间：
2018-11-13 20:36:33
阅读次数：
180
1.首先需要搭建hadoop环境：hadoop集群的搭建 2.mysql数据库的安装：CentOS安装mysql源码包 3.创建Hive数据库 4.上传hive安装包到/sur/local/src中，并且解压缩 5.解压缩完成后，复制到上级目录 6.配置hive-site.xml 内容如下： <?x ...
分类：
其他好文 时间：
2018-11-13 02:59:19
阅读次数：
189
