cloudera官网spark:https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/spark.htmlspark官网:https://spark.apache.org/documentation.htmlCDH安装spar ...
分类：
其他好文 时间：
2019-10-04 11:25:52
阅读次数：
565
window系统 1. anaconda 或python spark环境变量 2. 配置spark home D:\Develop\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.6 3. C:\Users\Administrator>pip in... ...
分类：
编程语言 时间：
2019-10-04 09:53:57
阅读次数：
157
如果你要使用idea的话，那么请下载spark-2.4.4-bin-hadoop2.7.tgz版本，而非其他版本，不然会在使用idea的时候，会报错缺少许多类 如： ...
分类：
其他好文 时间：
2019-10-04 09:29:05
阅读次数：
135
spark整合hive后，hive启动报错： ls: cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directory 原因：spark版本升级到2.x以后,原有lib目录下的大JAR包被分 ...
分类：
其他好文 时间：
2019-10-03 23:44:17
阅读次数：
162
4.2.1 下载并安装spark 下载文件名：spark-2.4.4-bin-without-hadoop.tgz 4.2.2 配置linux环境变量 4.2.3 配置spark-env.sh变量环境 4.2.4 修改slaves文件 4.2.5 拷贝到其他节点scp -r ~/spark-2.4. ...
分类：
其他好文 时间：
2019-10-02 23:04:32
阅读次数：
473
reducedef reduce(f: (T, T) => T): T通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的1234567891011scala> val rdd1 = sc.makeRDD(1 to 10,2)rdd1: org.apache.spark.rdd.R... ...
分类：
其他好文 时间：
2019-10-02 22:40:13
阅读次数：
175
spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。 spark 由 scala 语言开发， ...
分类：
其他好文 时间：
2019-10-02 12:51:02
阅读次数：
1950
4.1 初始化StreamingContext 初始化完Context之后： 1) 定义消息输入源来创建DStreams 2) 定义DStreams的转化操作和输出操作 3) 通过streamingContext.start()来启动消息采集和处理 4) 等待程序终止，可以通过streamingCo ...
分类：
其他好文 时间：
2019-10-02 10:33:16
阅读次数：
82
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本 ...
分类：
其他好文 时间：
2019-10-02 00:52:57
阅读次数：
138
