码迷,mamicode.com
首页 >  
搜索关键字:Spark 算子 RDD    ( 8015个结果
IOS中block的使用方法
X.1 初探Block在这一小节我们先用一些简单范例来导入block的概念。X.1.1 宣告和使用Block我们使用「^」运算子来宣告一个block变数,而且在block的定义最后面要加上「;」来表示一个完整的述句(也就是将整个block定义视为前面章节所介绍的简单述句,因为整个定义必须是一个完整的...
分类:移动开发   时间:2014-08-21 11:13:13    阅读次数:168
在myeclipse中使用Java语言进行spark Standalone模式应用程序开发
一.环境配置Myeclipse中虽然已经集成了maven插件,但是由于这个插件版本较低,建立maven project会出现错误。解决办法:自己到官网http://maven.apache.org/下载最新版本的maven插件,解压,在环境变量中注册。新建环境变量M2_HOME在PATH里加入mav...
分类:编程语言   时间:2014-08-20 20:59:12    阅读次数:279
自己动手写CPU之第七阶段(2)——简单算术操作指令实现过程
虽然简单算术操作指令的数目比较多,有15条,但实现方式都是相似的,与前几章逻辑、移位操作指令的实现方式也很类似,不需要增加新的模块、新的接口,只需要修改流水线译码阶段的ID模块、执行阶段的EX模块即可。实现思路如下。 (1)修改流水线译码阶段的ID模块,添加对上述简单算术操作指令的译码,给出运算类型alusel_o、运算子类型aluop_o、要写入的目的寄存器地址wd_o等信息,同时根据需要读取地址为rs、rt的通用寄存器的值。 (2)修改流水线执行阶段的EX模块,依据传入的信息,进行运算,得到运算结果,确...
分类:其他好文   时间:2014-08-20 00:01:15    阅读次数:526
Spark 性能相关参数配置详解-Storage篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。-storage篇...
分类:其他好文   时间:2014-08-19 16:42:55    阅读次数:207
Spark 性能相关参数配置详解-压缩与序列化篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 压缩与序列化篇...
分类:其他好文   时间:2014-08-19 16:41:35    阅读次数:324
Spark 性能相关参数配置详解-任务调度篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。- 任务调度篇...
分类:其他好文   时间:2014-08-19 16:41:25    阅读次数:311
Spark 性能相关参数配置详解-shuffle篇
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。...
分类:其他好文   时间:2014-08-19 14:35:14    阅读次数:311
XMPP-04环境安装(配置客户端)
四、配置客户端1.来到XMPP官网,寻找所需客户端软件2.选用电脑自带的信息,Adium和Spark这三个客户端软件,我共享的资源里有3.首先来配置信息打开信息 ->添加账户 ->其他邮件账户 ->继续->账户类型:Jabber ->用户名:zhangsan->密码:123456 ->创建
分类:其他好文   时间:2014-08-18 21:47:52    阅读次数:270
spark 在yarn执行job时一直抱0.0.0.0:8030错误
近日新写完的spark任务放到yarn上面执行时,在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类:其他好文   时间:2014-08-17 21:08:52    阅读次数:890
图像处理-线性滤波-2 图像微分(1、2阶导数和拉普拉斯算子)
更复杂些的滤波算子一般是先利用高斯滤波来平滑,然后计算其1阶和2阶微分。由于它们滤除高频和低频,因此称为带通滤波器(band-pass filters)。在介绍具体的带通滤波器前,先介绍必备的图像微分知识。1 一阶导数连续函数,其微分可表达为,或 (1.1)对于离散情况(图像),其导数必须用差分方差...
分类:其他好文   时间:2014-08-16 19:39:51    阅读次数:265
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!