Spark分区详解！DT大数据梦工厂王家林老师亲自讲解！http://www.tudou.com/home/_79823675/playlist?qq-pf-to=pcqq.group一、分片和分区的区别？分片是从数据角度，分区是从计算的角度，其实都是从大的状态，split成小的。二、spark分区理解rdd作为一个分布式的数据集，是分布..
分类：
其他好文 时间：
2016-11-12 20:34:14
阅读次数：
333
问题导读1.GraphX提供了几种方式从RDD或者磁盘上的顶点和边集合构造图?2.PageRank算法在图中发挥什么作用？3.三角形计数算法的作用是什么？Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）... ...
分类：
其他好文 时间：
2016-11-08 19:23:26
阅读次数：
504
如果程序发生异常，系统首先创建异常对象交给运行时系统，再由系统寻找代码处理异常，共经历抛出异常、捕获异常和处理异常几个过程。下列程序段会发生异常：class Rdd{public static void main(String []args){int i=9;int j=9;int s=39/(i- ...
分类：
其他好文 时间：
2016-11-08 01:50:17
阅读次数：
143
在/tomcat/bin/catalina.sh 中添加： CATALINA_OPTS='-server -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=1 ...
分类：
其他好文 时间：
2016-11-07 17:49:39
阅读次数：
235
通过spark的action操作函数：collect函数可以提取出所有rdd里的数据项！ ...
分类：
其他好文 时间：
2016-11-06 11:34:12
阅读次数：
170
之前写的键盘记录最后一直在纠结弹框与不弹框的问题，代码找不到了，今天重新来一遍 #!/usr/bin/env python# -*-coding:utf-8 -*-from ctypes import *import pythoncomimport pyHookimport win32clipboa ...
分类：
编程语言 时间：
2016-11-05 02:35:59
阅读次数：
217
摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7... ...
分类：
其他好文 时间：
2016-11-04 01:13:27
阅读次数：
443
spark序列化 对于优化<网络性能>极为重要，将RDD以序列化格式来保存减少内存占用. spark.serializer=org.apache.spark.serializer.JavaSerialization Spark默认 使用Java自带的ObjectOutputStream 框架来序列化 ...
分类：
其他好文 时间：
2016-10-30 23:47:21
阅读次数：
318
常用正则表达式大全！（例如：匹配中文、匹配html） 匹配中文字符的正则表达式： [u4e00-u9fa5] 评注：匹配中文还真是个头疼的事，有了这个表达式就好办了 匹配双字节字符(包括汉字在内)：[^x00-xff] 评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1） 匹 ...
分类：
其他好文 时间：
2016-10-30 11:23:22
阅读次数：
178
DP基础 简单dp 背包问题 记忆化搜索 简单dp 数字三角形 给一个数字构成的三角形，求从顶端走到底部的一条路径，使得路径上的和最大(或者最小)。 1 2 3 6 5 4 Example_1 7 3 8 8 1 0 5 2 6 100000 Example_2 根据Example_2可以知道贪心显 ...
分类：
其他好文 时间：
2016-10-29 01:24:56
阅读次数：
279
