一 编译 以spark2.4 hadoop2.8.4为例 1，spark 项目根pom文件修改 pom文件新增 <profile> <id>hadoop-2.8</id> <properties> <hadoop.version>2.8.4</hadoop.version> </properties ...
分类：
其他好文 时间：
2019-12-12 13:22:10
阅读次数：
86
前言大数据、人工智能正在改变或颠覆各行各业，包括我们的生活。大数据、人工智能方面的人才已经供不应求，但作为人工智能的核心一机器学习,因涉及的知识和技能比较多，除了需要具备一定的数学基础、相关业务知识外，还要求有比较全面的技术储备，如操作系统、数据库、开发语言、数据分析工具、大数据计算平台等，无形中提高了机器学习的门槛。如何降低机器学习的门槛，让更多有志于机器学习、人工智能的人能更方便或顺畅地使用、
分类：
其他好文 时间：
2019-12-12 01:32:52
阅读次数：
100
2019-12-11 Spark的框架体系 三个核心组件：SparkCore SparkSQL SparkStreaming Spark有三种部署模式：Stanalone Yarn Messos Spark和MapReduce之间区别 ***** 1.Spark把运算中数据放到内存中，迭代计算效率会 ...
分类：
其他好文 时间：
2019-12-11 21:33:03
阅读次数：
153
错误1.错误: 找不到或无法加载主类 idea、scala代码 idea 导入的scala工程，编写代码后报该错误。 原因：\src\main\scala 包路径下没有将scala这个包设置成Sources root 解决：设置scala的文件夹属性 错误2. ERROR scheduler.Liv ...
分类：
其他好文 时间：
2019-12-11 19:34:16
阅读次数：
193
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object Update ...
分类：
其他好文 时间：
2019-12-11 19:24:49
阅读次数：
105
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
其他好文 时间：
2019-12-11 09:16:33
阅读次数：
82
import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): U ...
分类：
其他好文 时间：
2019-12-10 22:41:03
阅读次数：
147
其实Rocketmq的给第三方的插件已经全了，如果大家有兴趣的话请移步https://github.com/apache/rocketmq-externals。本文主要是结合笔者已有的rmq在spark中的应用经验对rocketmq做简单介绍以及经验总结，当然免不了会将rocketmq和如今特别火爆 ...
分类：
其他好文 时间：
2019-12-10 22:13:08
阅读次数：
157
val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2))) //1.根据传入的参数进行分组 val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupB ...
分类：
其他好文 时间：
2019-12-10 19:45:36
阅读次数：
110
spark-shell 整合 hive 1、将 hive/conf/hive-site.xml 拷贝到 spark/conf 下 将 hive/lib/mysql-connector-java-8.0.14.jar 拷贝到 spark-244/jars/mysql-connector-java-8. ...
分类：
其他好文 时间：
2019-12-10 15:21:07
阅读次数：
119
