-- 筛选 val rdd = sc.parallelize(List("ABC","BCD","DEF")) val filtered = rdd.filter(_.contains("C")) filtered.collect() Result: Array[String] = Array(AB... ...
分类：
其他好文 时间：
2018-01-09 20:24:25
阅读次数：
132
bzoj1814: Ural 1519 Formula 1 bzoj3125: CITY bzoj1210: [HNOI2004]邮递员 bzoj2331: [SCOI2011]地板 bzoj1187: [HNOI2007]神奇游乐园 bzoj2310: ParkII ...
分类：
其他好文 时间：
2018-01-02 23:36:24
阅读次数：
307
结果： 7 ['\xe4\xb8\xad\xe5\x9b\xbd', '\xe5\x92\x8c', '\xe9\x9f\xa9\xe5\x9b\xbd', '\xe7\x9a\x84\xe5\x8c\xba\xe5\x88\xab']中国和韩国的区别 <type 'str'><type 'unic ...
分类：
编程语言 时间：
2017-12-31 13:37:31
阅读次数：
434
1、spark on yarn作业提交（yarn-client模式） bin/spark-submit \--class dajiangtai.averageAge \--master yarn-client \--num-executors 1 \--driver-memory 1g \--exe ...
分类：
其他好文 时间：
2017-12-30 19:03:14
阅读次数：
169
参考链接： https://blog.uwa4d.com/archives/Sparkle_UGUI.html http://tech.seasungame.com/blog/index.php/2017/08/30/uguibiaoqingxitongjiejuefangan/ https://g ...
分类：
其他好文 时间：
2017-12-28 21:30:04
阅读次数：
234
缺少包，在spark-submit 中指定 packages 如下： ...
分类：
其他好文 时间：
2017-12-28 14:36:52
阅读次数：
252
python 使用灵活、方便在科研中被广泛的使用，Numpy和SciPy等科学计算库使其拥有强大的计算方式。很多机器学习和深度学习的库也都采用了python，然而在大数据、后台开发中仍然较多的使用Java来开发健壮的服务。如果你想要在Java中来调用Python代码的话，本文提供了一种思路，虽然不够 ...
分类：
其他好文 时间：
2017-12-26 15:18:36
阅读次数：
207
从我接触程序竞赛到现在应该有十多年了，单说ACM竞赛，从第一次非正式参赛到现在也差不多有7年多的样子。有太多的故事，想说的话，却一直没能有机会写下来。一方面是自己忙，一方面也是自己懒。所以很感谢能有人“逼”我来写点什么。想到会有很多人来读我写的文字，自己也觉得很开心。其实每个人的生活都是一部电影，只 ...
分类：
其他好文 时间：
2017-12-24 12:52:00
阅读次数：
158
原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种 ...
分类：
其他好文 时间：
2017-12-18 18:52:32
阅读次数：
197
