总结下Spark中将RDD转换成DataFrame的两种方法, 代码如下： 方法一： 使用 方法 方法二： 使用 方法 注意 请不要将 定义在main 方法中与toDF一起使用，或与使用toDF定义在同一函数中 ...
分类：
其他好文 时间：
2019-05-17 21:58:55
阅读次数：
168
详细讲解RDD中两个关于重新分区的算子coalesce和repartition~
分类：
其他好文 时间：
2019-05-17 18:01:22
阅读次数：
177
1.RDD的官网定义 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable，partitioned collection of elements that can ...
分类：
其他好文 时间：
2019-05-13 17:54:40
阅读次数：
219
RDD及其特点 1、RDD是Spark的核心数据模型，但是个抽象类，全称为Resillient Distributed Dataset，即弹性分布式数据集。 2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行 ...
分类：
其他好文 时间：
2019-05-08 21:56:13
阅读次数：
137
Spark—RDD 1、概念介绍 RDD（Resilient Distributed Dataset）:弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 官方定义还是比较抽象，个人理解为:它本质就是一个类，屏蔽了底层对数据的复杂抽象和处理，为用 ...
分类：
其他好文 时间：
2019-05-08 10:59:31
阅读次数：
135
一、官网介绍 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark?是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的 ...
分类：
其他好文 时间：
2019-05-07 19:40:17
阅读次数：
161
<1>很多人都玩过炸弹人或者泡泡堂，之前做了这个玩法，记录一下关键实现 <2>直接上Lua代码 1.维护每个格子上的物体 比如：BUFF类，宝箱，草箱，木箱，铁箱，炸弹，小怪... 用一个结构维护一个格子31*31=961，进入场景创建，离开释放掉 每个结构里面声明一张map缓存格子里面所有的物体 ...
分类：
其他好文 时间：
2019-05-07 15:38:04
阅读次数：
116
需求:将前些日子采集的评论存储到hbase中 思路: 先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中 部分数据: 1 [ 2 { 3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全 ...
分类：
编程语言 时间：
2019-05-04 20:11:08
阅读次数：
223
前言：有时会有要获取剪切板内容的情况，我最开始有这个需求，不过后面放弃了，因为有兼容性的问题，在IE可行，在chrome和firefox不行。查到这篇博客做了兼容处理，就写在这里记录一下。 正文： 参考博客： 实现JS复制、粘贴，Chrome/Firefox下可用 - HackerSaillen的专 ...
分类：
Web程序 时间：
2019-05-04 14:40:50
阅读次数：
169
