spark对内存有一定的要求，内存不够会因为gc而oom。
1、默认情况下，一个worker的内存0.6用于cache，0.4用于task，可以通过设置该值提高每个worker的cache大小
spark.storage.memoryFraction 0.8
2、设置并行task数，提高reducer效率
spark.default.parallelism 4
这个在1....
分类：
其他好文 时间：
2014-09-03 21:21:47
阅读次数：
338
默认是1.0.4，需设置指定Hadoop版本：
在${SPARK_HOME}/pom.xml中的yarn改为
yarn
2
2.2.0
2.2.0
2.5.0
yarn
导入时候选yarn...
分类：
其他好文 时间：
2014-09-03 21:19:57
阅读次数：
330
1208: [HNOI2004]宠物收养所
Time Limit: 10 Sec Memory Limit: 162 MB
Submit: 4352 Solved: 1645
[Submit][Status]
Description
最近，阿Q开了一间宠物收养所。收养所提供两种服务：收养被主人遗弃的宠物和让新的主人领养这些宠物。每个领养者都希望领养到自己满意的宠物，阿Q根据领养者...
分类：
其他好文 时间：
2014-09-03 18:16:57
阅读次数：
166
病毒
Time Limit: 1000ms, Special Time Limit:2500ms, Memory Limit:32768KB
Total submit users: 41, Accepted users: 23
Problem 10104 : No special judgement
Problem description
二进制病...
分类：
其他好文 时间：
2014-09-03 13:09:16
阅读次数：
158
Tian Ji -- The Horse Racing
Time Limit:1000MS Memory Limit:32768KB 64bit IO Format:%I64d
& %I64u
Submit Status Practice HDU
1052
Description
Here is a famous story in Chinese...
分类：
其他好文 时间：
2014-09-03 13:05:06
阅读次数：
107
3224: Tyvj 1728 普通平衡树
Time Limit: 10 Sec Memory Limit: 128 MB
Submit: 1844 Solved: 727
[Submit][Status]
Description
您需要写一种数据结构（可参考题目标题），来维护一些数，其中需要提供以下操作：
1. 插入x数
2. 删除x数(若有多个相同的数，因只删除一个)
...
分类：
其他好文 时间：
2014-09-03 09:44:06
阅读次数：
230
1、为form添加表单验证editSeller_form是form的idun、pw是input text的id$(document).ready(function() { $("#editSeller_form").submit(function(e) { if ...
分类：
Web程序 时间：
2014-09-02 22:37:55
阅读次数：
334
本文讲述如何使用datastax提供的spark-cassandra-connector来连接cassandra进行数据读取和更新。
分类：
其他好文 时间：
2014-09-02 22:35:15
阅读次数：
343
3295: [Cqoi2011]动态逆序对
Time Limit: 10 Sec Memory Limit: 128 MB
Submit: 861 Solved: 287
[Submit][Status]
Description
对于序列A，它的逆序对数定义为满足ij，且Ai>Aj的数对(i,j)的个数。给1到n的一个排列，按照某种顺序依次删除m个元素，你的任务是在每次删除一个元...
分类：
其他好文 时间：
2014-09-02 20:01:45
阅读次数：
190
L - Parity game
Time Limit:1000MS Memory Limit:65536KB 64bit IO Format:%I64d & %I64u
Submit Status
Description
Now and then you play the following game with your friend. Your f...
分类：
其他好文 时间：
2014-09-02 19:58:25
阅读次数：
263
