前言大数据、人工智能正在改变或颠覆各行各业，包括我们的生活。大数据、人工智能方面的人才已经供不应求，但作为人工智能的核心一机器学习,因涉及的知识和技能比较多，除了需要具备一定的数学基础、相关业务知识外，还要求有比较全面的技术储备，如操作系统、数据库、开发语言、数据分析工具、大数据计算平台等，无形中提高了机器学习的门槛。如何降低机器学习的门槛，让更多有志于机器学习、人工智能的人能更方便或顺畅地使用、
分类：
其他好文 时间：
2019-12-12 01:32:52
阅读次数：
100
2019-12-11 Spark的框架体系 三个核心组件：SparkCore SparkSQL SparkStreaming Spark有三种部署模式：Stanalone Yarn Messos Spark和MapReduce之间区别 ***** 1.Spark把运算中数据放到内存中，迭代计算效率会 ...
分类：
其他好文 时间：
2019-12-11 21:33:03
阅读次数：
153
错误1.错误: 找不到或无法加载主类 idea、scala代码 idea 导入的scala工程，编写代码后报该错误。 原因：\src\main\scala 包路径下没有将scala这个包设置成Sources root 解决：设置scala的文件夹属性 错误2. ERROR scheduler.Liv ...
分类：
其他好文 时间：
2019-12-11 19:34:16
阅读次数：
193
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object Update ...
分类：
其他好文 时间：
2019-12-11 19:24:49
阅读次数：
105
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
其他好文 时间：
2019-12-11 09:16:33
阅读次数：
82
import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): U ...
分类：
其他好文 时间：
2019-12-10 22:41:03
阅读次数：
147
其实Rocketmq的给第三方的插件已经全了，如果大家有兴趣的话请移步https://github.com/apache/rocketmq-externals。本文主要是结合笔者已有的rmq在spark中的应用经验对rocketmq做简单介绍以及经验总结，当然免不了会将rocketmq和如今特别火爆 ...
分类：
其他好文 时间：
2019-12-10 22:13:08
阅读次数：
157
spark-shell 整合 hive 1、将 hive/conf/hive-site.xml 拷贝到 spark/conf 下 将 hive/lib/mysql-connector-java-8.0.14.jar 拷贝到 spark-244/jars/mysql-connector-java-8. ...
分类：
其他好文 时间：
2019-12-10 15:21:07
阅读次数：
119
1、下载 http://archive.apache.org/dist/spark/spark 2.4.1/spark 2.4.1 bin hadoop2.7.tgz 2、解压 3、配置环境变量SPARK_HOME vim /etc/profile 或者 vim ~/.bashrc source / ...
分类：
系统相关 时间：
2019-12-10 00:55:19
阅读次数：
79
本地模式Spark单机运行，一般用于开发测试。Standalone模式构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。Spark on Yarn模式Spark客户端直接连接Yarn。不需要额外构建Spark集群。Spark on Mesos模式Spark客户端直接连接 ...
分类：
其他好文 时间：
2019-12-09 21:11:23
阅读次数：
237
