RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。 RDD和DataFrame RDD和DataSet DataSet以Catalyst逻辑执行计划表示，并且数据以编码的二进制形式被存储，不需要反序列化就可以执行sorting、shuffle等 ...
分类：
其他好文 时间：
2016-12-05 14:02:51
阅读次数：
294
1.只能输入和粘贴数字 <input onkeyup="this.value=this.value.replace(/\D/g,'')" onafterpaste="this.value=this.value.replace(/\D/g,'')" /> 2.只能输入数字<input onkeyup= ...
分类：
其他好文 时间：
2016-12-02 22:14:50
阅读次数：
191
背景：公司有些业务需求是存储在HBase上的，总是有业务人员找我要各种数据，所以想直接用Spark( shell) 加载到RDD进行计算 摘要： 1.相关环境 2.代码例子 内容 1.相关环境 Spark 版本：2.0.0 Hadoop 版本：2.4.0 HBase 版本：0.98.6 注：使用CD ...
分类：
其他好文 时间：
2016-12-02 21:36:45
阅读次数：
305
Hadoop使用数据复制来实现容错性（I/O高） Spark使用RDD数据存储模型来实现容错性。 RDD是只读的、分区记录的集合。如果一个RDD的一个分区丢失，RDD含有如何重建这个分区的相关信息。这就避免了使用数据复制来保证容错性的要求，从而减少了对磁盘的访问。通过RDD，后续步骤如果需要相同数据 ...
分类：
其他好文 时间：
2016-12-02 19:29:42
阅读次数：
467
1.代码逻辑 ： a.封装一个粘贴的方法体：setAndctrlVClipboardData（String string）;参数string是需要粘贴的内容 ； b.声明一个StringSelection stringSelection 对象来接受粘贴的内容； c.使用Toolkit 对象的setC ...
分类：
其他好文 时间：
2016-12-02 11:51:50
阅读次数：
292
Chapter4 working with key/value pairs key/values pairs键值对是Spark中非常常见的一种数据类型（type），RDD有时经常操作键值对数据类型。第四章的第一部分内容就是介绍有关键值对的ETL操作：extract，transform，load。第二 ...
分类：
其他好文 时间：
2016-11-30 20:08:36
阅读次数：
148
今天主要来谈谈如何将Spark计算的结果写入到Mysql或者其他的关系型数据库里面。其实方式也很简单，代码如下： 其实是通过foreachPartition遍历RDD的每个分区，并调用普通的Scala方法来写数据库。在运行程序之前需要确保数据库里面存在blog表，可以通过下面语句创建： 然后直接运行 ...
分类：
数据库 时间：
2016-11-30 11:21:07
阅读次数：
209
sparkR在spark2.0里面，RDD后端代码位于org.apache.spark.rdd中，R语言相关的位于org.apache.spark.api.r中。 从入口开始，./bin/sparkR里面只有四句话，调用的是这个 spark-submit里面是个一句话的shell脚本 好了，入口是o ...
分类：
其他好文 时间：
2016-11-28 15:45:54
阅读次数：
245
网页样式与布局 1.对网页结构进行认知，掌握通过切片工具进行结构的划分 <html> <head> <title>文档标题</title> </head> <body> <header>头部</header> <div class="banner">广告栏</div> <div class="sid ...
分类：
Web程序 时间：
2016-11-27 16:14:35
阅读次数：
262
