从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
1. spark编译出现error：object Apache is not a member of package org 原因：idea用的maven路径默认在C盘用户.m2文件下，这个问题此处是因为路径中包含中文造成的 解决方案：将.m2移动到其他路径（不含空格和英文），然后重新指定idea中 ...
分类：
其他好文 时间：
2019-12-13 19:36:03
阅读次数：
69
进阶算子： import org.apache.spark.rdd.RDD import org.apache.spark.{HashPartitioner, SparkConf, SparkContext} /** * 进阶算子 */ object FunctionDemo2 { def main ...
分类：
其他好文 时间：
2019-12-12 18:03:32
阅读次数：
79
val rdd = sc.parallelize(List(1,2,3,4,5,6),第二参数)这里的第二参数 获取方式有两种:1.直接给定值,根据传入的值决定分区的数量2.根据运行环境获取分区数量(core) -->例如 本地运行 设置为local 此时设置分区值默认分区就是1个 val rdd ...
分类：
其他好文 时间：
2019-12-12 17:57:37
阅读次数：
190
PS：在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是 说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark ...
分类：
其他好文 时间：
2019-12-12 15:18:31
阅读次数：
132
一 编译 以spark2.4 hadoop2.8.4为例 1，spark 项目根pom文件修改 pom文件新增 <profile> <id>hadoop-2.8</id> <properties> <hadoop.version>2.8.4</hadoop.version> </properties ...
分类：
其他好文 时间：
2019-12-12 13:22:10
阅读次数：
86
前言大数据、人工智能正在改变或颠覆各行各业，包括我们的生活。大数据、人工智能方面的人才已经供不应求，但作为人工智能的核心一机器学习,因涉及的知识和技能比较多，除了需要具备一定的数学基础、相关业务知识外，还要求有比较全面的技术储备，如操作系统、数据库、开发语言、数据分析工具、大数据计算平台等，无形中提高了机器学习的门槛。如何降低机器学习的门槛，让更多有志于机器学习、人工智能的人能更方便或顺畅地使用、
分类：
其他好文 时间：
2019-12-12 01:32:52
阅读次数：
100
2019-12-11 Spark的框架体系 三个核心组件：SparkCore SparkSQL SparkStreaming Spark有三种部署模式：Stanalone Yarn Messos Spark和MapReduce之间区别 ***** 1.Spark把运算中数据放到内存中，迭代计算效率会 ...
分类：
其他好文 时间：
2019-12-11 21:33:03
阅读次数：
153
错误1.错误: 找不到或无法加载主类 idea、scala代码 idea 导入的scala工程，编写代码后报该错误。 原因：\src\main\scala 包路径下没有将scala这个包设置成Sources root 解决：设置scala的文件夹属性 错误2. ERROR scheduler.Liv ...
分类：
其他好文 时间：
2019-12-11 19:34:16
阅读次数：
193
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object Update ...
分类：
其他好文 时间：
2019-12-11 19:24:49
阅读次数：
105
