Spark SQL 1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点： （1）和 Spark Core 的无缝集成，可以在写整个 RDD 应用的时候 ...
分类：
其他好文 时间：
2020-05-29 19:38:34
阅读次数：
75
Visual Studio 默认有三个主题，在我们刚开始安装 Visual Studio 的时候就能看到颜色主题，分别有浅色、深色、蓝色，如下图： 推荐使用深色，比较护眼，毕竟程序猿不是躲过了秃顶也逃不过戴眼镜的节奏，还是老命要紧； 一.设置Visual Studio颜色主题 1.打开Visual ...
分类：
其他好文 时间：
2020-05-28 23:47:13
阅读次数：
69
前言 一个简单的理解：把SQL的一些操作应用在hadoop的HDFS上面。 数据库与数据仓库 数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分 ...
分类：
其他好文 时间：
2020-05-28 23:08:21
阅读次数：
62
找到hadoop安装目录下$HADOOP_HOME/etc/mapred-site.xml,增加以下代码 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value ...
分类：
移动开发 时间：
2020-05-28 16:35:18
阅读次数：
115
原文链接：java8 中的常用函数式接口 函数式接口 表达式 拓展 备注 Predicate T → boolean DoublePredicate IntPredicate LongPredicate 谓词 Consumer T → void DoubleConsumer IntConsumer ...
分类：
编程语言 时间：
2020-05-28 16:11:09
阅读次数：
110
create table toys.test (id int, x0 double, x1 double, x2 double, x3 double) row format delimited fields terminated by ',' stored as textfile; 先在hive 数 ...
分类：
其他好文 时间：
2020-05-28 16:09:46
阅读次数：
82
1. Hive数据类型 Hive支持原始数据类型和复杂类型，原始类型包括数值型，Boolean，字符串，时间戳。复杂类型包括数组，map，struct。下面是Hive数据类型的一个总结： 分类类型描述字面量示例 原始类型 BOOLEAN true/false TRUE TINYINT 1字节的有符号 ...
分类：
其他好文 时间：
2020-05-28 01:02:27
阅读次数：
73
第一步环境准备： jdk安装，用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3. ...
分类：
其他好文 时间：
2020-05-27 20:47:07
阅读次数：
90
注意：impyla 既可以连接impala， 也可以连接hive 环境 ： windows10 python版本：3.6 hive版本：1.1 亲测可用！ impyla安装过程 安装依赖 pip install bit_array pip install thrift pip install thr ...
分类：
编程语言 时间：
2020-05-27 18:25:56
阅读次数：
148
假设存在表格如下： select 'a' as category, 19 as duration union all select 'b' as category, 15 as duration union all select 'c' as category, 12 as duration uni ...
分类：
编程语言 时间：
2020-05-27 11:51:22
阅读次数：
328
