前言 最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop 安装流程 安装spark需要先安装scala 注意在安装过程中需要对应spark与 ...
分类：
其他好文 时间：
2019-07-24 19:14:56
阅读次数：
88
引入:spark scala java实现wordcount 1.spark scala实现wordcount 详细版本 2.spark java实现wordcount ...
分类：
编程语言 时间：
2019-07-23 22:38:14
阅读次数：
145
柯里化（Currying） 把接受多个参数的函数变换成接受一个单一参数（最初函数的第一个参数）的函数，并且返回接受余下的参数而且返回结果的新函数的技术。 简单的实现如下： 假如我们应用的时候，是这样的：add(1,2) 柯里化函数： Curry化最大的意义在于把多个参数的function等价转化成多 ...
分类：
其他好文 时间：
2019-07-20 10:26:40
阅读次数：
117
## Why Scala在数据集不是很大的时候，开发人员可以使用python、R、MATLAB等语言在单机上处理数据集。但是在大数据时代，数据集少说都是TB、PB级别，此时便需要分布式地处理。相较于上述语言，Scala有着现成的框架即Spark能分布式地处理问题，Scala中有着丰富的Spark A... ...
分类：
其他好文 时间：
2019-07-20 09:21:24
阅读次数：
84
1、CreateCollection（分布式环境里面的action的使用） 2、选择属性（首页只出现商品的图片，价钱、不全部出现相关信息。。。） 3、相关排序过滤投影的相关使用。 从org.mongodb.scala的API中可得到相关的排序、过滤的相关的信息，它们都是返回Bson的 ...
分类：
数据库 时间：
2019-07-19 12:17:18
阅读次数：
119
分享一篇以前看到的文章,也为了以后找着方便。 几周前一个朋友也打算通过跑步来甩一甩脂肪，控制一下自己那已经严重扭曲了的身材 —— 他便求教我从衣服到鞋，从腕表到心率带，都买了什么装备，性能如何，他好照着原样来一套。我告诉他我什么装备都没买，跑了半年多了，我还是随便套上件纯棉的T恤，穿条舒服的运动短裤 ...
分类：
其他好文 时间：
2019-07-18 23:42:14
阅读次数：
154
为什么我们需要学习函数式编程？或者说函数式编程有什么优势？这个系列中我会用 scala 给你讲述函数式编程中的优势，以及一些函数式的哲学。不懂 scala 也没关系，scala 和 java 是类似的，在每篇的开头我也会先说明这节中用到的 scala 语法。 为什么函数式编程这几年火起来 如 Pyt ...
分类：
其他好文 时间：
2019-07-18 19:59:57
阅读次数：
151
一、SparkContext原理1、图解二、SparkContext源码1、TaskScheduler创建###SparkContext.scala// Create and start the scheduler private[spark] var (schedulerBackend, task... ...
分类：
其他好文 时间：
2019-07-17 15:26:23
阅读次数：
125
1.trimEnd：截取末尾几个长度的字符串 ...
分类：
其他好文 时间：
2019-07-17 00:16:36
阅读次数：
84
<!doctype html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, m ...
分类：
其他好文 时间：
2019-07-17 00:09:56
阅读次数：
250
