高级算子 mapPartitionWithIndex：对RDD中每个分区（有下标）进行操作，通过自己定义的一个函数来处理 def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) ? Iterator[U]) f 是函数参数，接收两个参数 Int：分区号 ...
分类：
数据库 时间：
2020-06-12 00:32:18
阅读次数：
96
一、hadoop安装 1. 修改主机名和 IP 地址映射 sudo vi /etc/hostname #修改主机名（如，删掉原有内容，命名为 hadoop） ping hadoop #ping 通证明成功 2. 安装java sudo apt install openjdk-8-jdk-headle ...
分类：
其他好文 时间：
2020-06-11 21:50:24
阅读次数：
78
Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apache flink。 Apache Spark简介 Apache Spark是为快速计算而设计的开源，闪电般快速的集群计算框架。Apache Spa ...
分类：
Web程序 时间：
2020-06-11 19:59:25
阅读次数：
79
HIVE count(distinct ) over() 无法使用解决办法 在使用hive时发现count(distinct ) over() 报错 hive> with da as ( > select 1 a, 'a' b union all > select 1 a, 'a' b union ...
分类：
其他好文 时间：
2020-06-11 14:58:24
阅读次数：
200
本地scala version为2.11.8，spark为2.4.0版本 于是修改dr-elephant/build.sbt scalaVersion := "2.11.8" 修改dr-elephant/compile.conf hadoop_version=2.8.4 spark_version= ...
分类：
其他好文 时间：
2020-06-11 13:42:28
阅读次数：
100
一、配置hbase 1、修改hbase-site.xml 添加如下配置： <property> <name>hbase.thrift.support.proxyuser</name> <value>true</value> </property> <property> <name>hbase.reg ...
分类：
其他好文 时间：
2020-06-11 13:33:17
阅读次数：
116
漏洞名称：DedeCMS v5.7 注册用户任意文件删除漏洞 危险等级：★★★★★(高危) 漏洞文件：/member/inc/archives_check_edit.php 披露时间：2017-03-20 漏洞描述：注册会员用户可利用此漏洞任意删除网站文件。 修复方法： 打开/member/inc/ ...
分类：
其他好文 时间：
2020-06-11 13:19:26
阅读次数：
73
python是一门非常高级的编程语言，同时python作为人工智能的重要编程语言，无论发展前景还是就业方向，都可以说是无可限量。
分类：
编程语言 时间：
2020-06-11 00:42:34
阅读次数：
104
第0章-课程介绍 第1章-大数据技术概述 第2章-Scala语言基础 第3章-Spark的设计与运行原理 第4章-Spark环境搭建和使用方法 第5章-RDD编程 第6章-Spark-SQL 第7章-Spark-Streaming 第8章-Spark-MLlib ...
分类：
其他好文 时间：
2020-06-10 23:09:12
阅读次数：
145
