RDD的转换 Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG。接下来以“Word Count”为例，详细描述这个DAG生成的实现过程。 Spark Scala版本的Word Count程序如下： file和counts都是R ...
分类：
Web程序 时间：
2016-07-31 20:39:29
阅读次数：
223
RDD的检查点 RDD的缓存能够在第一次计算完成后，将计算结果保存到内存、本地文件系统或者Tachyon中。通过缓存，Spark避免了RDD上的重复计算，能够极大地提升计算速度。但是，如果缓存丢失了，则需要重新计算。如果计算特别复杂或者计算耗时特别多，那么缓存丢失对于整个Job的影响是不容忽视的。为 ...
分类：
Web程序 时间：
2016-07-31 20:34:50
阅读次数：
184
RDD的操作 RDD支持两种操作：转换和动作。 1）转换，即从现有的数据集创建一个新的数据集。 2）动作，即在数据集上进行计算后，返回一个值给Driver程序。 例如，map就是一种转换，它将数据集每一个元素都传递给函数，并返回一个新的分布式数据集表示结果。另一个方面，reduce是一种动作，通过一 ...
分类：
Web程序 时间：
2016-07-31 20:34:14
阅读次数：
130
RDD有什么特征/属性？ 1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就 ...
分类：
Web程序 时间：
2016-07-31 20:33:54
阅读次数：
320
什么是RDD? 官方对RDD的解释是：弹性分布式数据集，全称是Resilient Distributed Datasets。RDD是只读的、分区记录的集合。RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。这些确定性操作称为转换，如map、filter、groupBy、 ...
分类：
Web程序 时间：
2016-07-31 18:59:42
阅读次数：
186
RDD的转换和DAG的生成 Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG。接下来以“Word Count”为例，详细描述这个DAG生成的实现过程。 Spark Scala版本的Word Count程序如下： file和co ...
分类：
Web程序 时间：
2016-07-31 17:38:58
阅读次数：
359
一、介绍 httpClient是Apache公司的一个子项目, 用来提高高效的、最新的、功能丰富的支持http协议的客户端编程工具包。完成可以模拟浏览器发起请求行为。 二、简单使用例子 ： 模拟浏览器发起访问谷歌首页请求 1、pom.xml 配置 2、示例 打印出来的结果是这样子的 ...
分类：
Web程序 时间：
2016-07-31 17:18:29
阅读次数：
218
首先要确保你的电脑已经搭建了了mysql数据和apache服务器然后进入wordpress中国的网站：https://cn.wordpress.org/也可以直接在百度上搜索wordpress下载最新版本的wordpress，我现在下载的版本是：wordpress-4.5.3-zh_CN.zip下载后解压到apache文件夹下htdocs文件夹内，因为这..
分类：
其他好文 时间：
2016-07-31 16:06:40
阅读次数：
223
一、hadoop简介 1、hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要,HDFS来源于google的GFS,MapReduce来源于Google的MapReduce,HBase来源于Google的BigTable.hadoop后被引入Apache基金会. 2、hadoop两大核心 ...
分类：
其他好文 时间：
2016-07-31 15:47:36
阅读次数：
230
要想安装Python的CGI环境，就继续往下看吧。 首先，要确定apache服务可以使用CGI服务。 打开apache的配置文件，设置如图。 在启动的apache服务的系统目录下，创建目录如/Users/iOSQiao/Sites/web/cgi-bin/，然后新建hello.py文件，如下 重启服 ...
分类：
编程语言 时间：
2016-07-31 14:24:02
阅读次数：
181
