sqoop 是什么？ sqoop 主要用于异构数据： 1. 将数据从hadoop，hive 导入、导出到关系型数据库mysql 等; 2. 将关系型数据库 mysql 中数据导入、导出到 hadoop 、hve 。 sqoop 版本说明 sqoop 1 版本主要从1.4.0 到 1.4.7；sqoo ...
分类：
其他好文 时间：
2020-02-17 18:03:50
阅读次数：
58
"《Vue系列》timeago.js将时间戳转换成“几天前”“几分钟前”等格式" ...
分类：
Web程序 时间：
2020-02-16 20:39:28
阅读次数：
107
1.keys 功能： 返回所有键值对的key 示例 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = rdd.map(x => (x,1)) pairRdd.ke ...
分类：
其他好文 时间：
2020-02-14 18:33:43
阅读次数：
110
查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库 ...
分类：
其他好文 时间：
2020-02-13 22:35:19
阅读次数：
73
1、数据背景：首先，公司，2019年4月15日有335150条订单，各条订单中都有唯一的标识ID（order_id）对应一笔交易。 根据交易流程，在系统上报该交易信息时依次会有已下单、已支付、已发货、配送中、已接收、已退货、已退款等多种事务状态，而且每个事务的发生都会在Hive表中生成一条记录。因此 ...
分类：
数据库 时间：
2020-02-13 19:26:05
阅读次数：
131
1、row_number over()：分组排序+序号标记 假如我们有这样一组数据，我们需要求出不同性别的年龄top2的人的信息。这个时候怎么做？可能我们会首先想到分组，但是分组只能值top1，怎么样能求出top2，top3呢？这时候我们想如果分组后能够按照年龄排序然后标出来序号就好了！ id ag ...
分类：
其他好文 时间：
2020-02-13 17:21:11
阅读次数：
75
一、事务的概述 1、定义 事务就是一组单元化操作，这些操作要么都执行，要么都不执行，是一个不可分割的工作单位。 2、特点 事务（transaction）具有的四个要素：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。这四个 ...
分类：
其他好文 时间：
2020-02-13 12:41:40
阅读次数：
228
基础概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十 ...
分类：
其他好文 时间：
2020-02-12 22:01:50
阅读次数：
67
一个非常完整的实例 void cratexlsfile(std::string filename,ustring name,ustring gender,ustring id,ustring Class,ustring PhoneNum) { XLS obj; auto sheet = obj.cr ...
分类：
其他好文 时间：
2020-02-12 16:26:14
阅读次数：
81
Sqoop概述 Sqoop是一款开源的工具，主要用于在Hadoop生态系统（Hadoop、Hive等)与传统的数据库(MySQL、Oracle等)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop导入原理： 在导入 ...
分类：
其他好文 时间：
2020-02-12 14:33:53
阅读次数：
82
