##Hbase和Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库,一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者的 ...
分类:
其他好文 时间:
2021-02-19 12:52:56
阅读次数:
0
初识Java Java帝国的诞生 J2SE× J2ME× J2EE√ >服务器 Maven Tomcat Spring intellij idea Hadoop Android Java的特性和优势 简单 面向对象 可移植 高性能 分布式 动态性 多线程 安全性 Java为什么成功? 准备+机遇 J ...
分类:
编程语言 时间:
2021-02-16 12:44:30
阅读次数:
0
在介绍 Spark SQL之前,我们先了解两种基本的数据分析方式。 一、数据分析的两种方式 数据分析的方式大致上可以划分为 SQL 和 命令式两种。 命令式 在前面的 RDD部分,非常明显可以感觉的到是命令式的,主要特征是通过一个算子,可以得到一个结果,通过结果再进行后续计算。例如: sc.para ...
分类:
数据库 时间:
2021-02-16 12:29:50
阅读次数:
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类:
其他好文 时间:
2021-02-16 12:23:59
阅读次数:
0
《Hadoop全权威指南第三版(原版)》 链接: https://pan.baidu.com/s/1O0AwkvstyRdB69Tiw8o7Ww 密码: 29li 有问题拿不到直接联系作者哦! 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术,就意味着可以轻松找到高薪工作。 人 ...
分类:
其他好文 时间:
2021-02-15 11:48:45
阅读次数:
0
Hive 运行过程异常信息有时不能完全显示在终端上,此时可以用 Hive Debug 模 式进行调试 hive --hiveconf hive.root.logger=INFO,console 1、表不存在 FAILED: SemanticException [Error 10001]: Line ...
分类:
其他好文 时间:
2021-02-10 13:39:36
阅读次数:
0
字符函数 函数返回值型 函数(参数) 描述 string base64(binary bin) 将二进制 bin 转换成 64 位的字符串 string concat(string|binary A, string|binary B...) 对二进制字节码或字符 串按次序进行拼接 array<str ...
分类:
其他好文 时间:
2021-02-10 13:05:47
阅读次数:
0
聚合函数 函数返回值型 函数(参数) 描述 BIGINT count(*), count(expr), count(DISTINCT expr[, expr...]) 1.统计总行数,包括含有 NULL 值的行 2.count(expr) 统计提 供非 NULL 的 expr 表达式 值的行数 3. ...
分类:
其他好文 时间:
2021-02-10 13:04:58
阅读次数:
0
#安装ambari 2.7.5 参考: 文档:https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.7.5 经验:https://blog.csdn.net/jiajane/article ...
分类:
其他好文 时间:
2021-02-10 12:52:50
阅读次数:
0
在围绕Hadoop形成的大数据技术生态当中,MapReduce的地位,在早期是处于核心地位的,但是伴随着数据处理实时性需求的不断提升,更多新的计算框架出现,MapReduce的地位受到压制,但是作为Hadoop原始计算框架,还是需要相应程度的了解和掌握的。今天的大数据入门分享,我们来具体讲一讲Map ...
分类:
其他好文 时间:
2021-02-09 12:33:28
阅读次数:
0