1.补充算子 transformations Ø mapPartitionWithIndex 类似于mapPartitions,除此之外还会携带分区的索引值。 Ø repartition 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle） 多用于增多分区. 底层调用 ...
分类：
编程语言 时间：
2018-01-05 20:50:15
阅读次数：
355
思维导图 目录结构 代码说明：实现TAM 装饰器 和 信用卡认证相关功能 代码 代码写完再上传后续代码 ...
分类：
其他好文 时间：
2018-01-05 15:53:09
阅读次数：
177
HTTP协议原理 socket默认使用tcp协议 http协议是处于应用层的协议 端口：80 ftp：21 TCP/IP 模型： 应用层、传输层、网络层、物理加数据链路层 应用层：主要用来存放应用程序 传输层：TCP/UDP协议 网络层：IP和端口 物理+数据链路：以太网，atm协议 客户端给服务器 ...
分类：
编程语言 时间：
2018-01-03 00:48:01
阅读次数：
212
测试两个浮点型数据相加是否大于1 输出内容如下： ...
分类：
其他好文 时间：
2018-01-01 16:52:32
阅读次数：
218
安装tensorflow gpu版本 Step1 安装CUDA8.0 进入这个云盘地址 "下载" ，密码5aoc 进行CUDA8.0下载。下载完成后解压，打开exe文件直接按照默认进行安装，安装步骤比较繁琐，时间消耗较长，需耐心等待。 Step2 安装cuDNN6.0 进入 "英伟达官网" 找到对应 ...
1179: [Apio2009]Atm Description Input 第一行包含两个整数N、M。N表示路口的个数，M表示道路条数。接下来M行，每行两个整数，这两个整数都在1到N之间，第i+1行的两个整数表示第i条道路的起点和终点的路口编号。接下来N行，每行一个整数，按顺序表示每个路口处的ATM ...
今天使用Java+Spark 实现 flatMapToPair 的lambda函数，代码如下： 结果报错： 上网查了下原因，是因为spark 2.0以上要求返回一个Iterator的实例。 于是修改代码如下(标红)，错误就消失了。 记录一下，备忘。 参考：http://blog.csdn.net/t ...
分类：
编程语言 时间：
2017-12-25 21:00:27
阅读次数：
534
队列和栈类似，也是一种集合，只不过它遵循的原则是先进先出，这很好理解，想一想ATM机取款就可以了。先到的人，先取款，后面到的人只能等前面的人取款成功。所以队列的操作是从前面删除元素，后面插入元素，其它则和栈没有什么区别。它有以下几种操作： 插入(enqueue)：把一个元素插入到队列的后面; 删除( ...
分类：
编程语言 时间：
2017-12-25 19:35:02
阅读次数：
255
原文引自：https://www.cnblogs.com/yxpblog/p/5269314.html 在开始之前，我先介绍一下，RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD ...
分类：
编程语言 时间：
2017-12-25 11:25:29
阅读次数：
202
