查看event是否开启 开启event_scheduler 创建存储过程spark.test 创建event spark.e_test 每隔一分钟执行存储过程spark.test 关闭事务任务 开启事务任务 删掉存储过程 插入数据 查询出来的数据 参考：http://blog.csdn.net/tj ...
分类：
数据库 时间：
2017-03-17 12:05:15
阅读次数：
195
https://github.com/endymecy/spark-ml-source-analysis/blob/master/%E8%81%9A%E7%B1%BB/k-means/k-means.md ...
分类：
编程语言 时间：
2017-03-11 11:50:05
阅读次数：
171
Spark的Shuffle过程介绍 Shuffle Writer Spark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如wide dependency的group by key。 Spark中需要Shuffle输出的Map任 ...
分类：
其他好文 时间：
2017-03-10 00:47:59
阅读次数：
174
题意： Andryusha goes through a park each day. The squares and paths between them look boring to Andryusha, so he decided to decorate them. The park cons ...
分类：
其他好文 时间：
2017-03-07 20:49:11
阅读次数：
235
工作快3年了，整体对自己的知识体系梳理一下： 做过的工作： 服务端工程师和数据开发工程师 接触过的技术两大类： 服务端后台： java、spring、mysql、redis、消息中间价、nio 数据分析： python、Gp、spark、hadoop、hive。 总体的感觉是自己涉猎的内容还比较多， ...
分类：
其他好文 时间：
2017-03-05 16:28:23
阅读次数：
173
Uncle Tom's Inherited Land* Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 3445 Accepted Submiss ...
分类：
其他好文 时间：
2017-03-05 12:30:28
阅读次数：
176
本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 引言 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让直式进入性能调优都是一个至关重要的问题，它的本质限制了我们调优到底要达到 ...
分类：
其他好文 时间：
2017-02-25 00:57:36
阅读次数：
257
1、分配更多的资源 1.1 分配的资源有：executor、cup per executor、memory per executor、driver memory 1.2 如何分配：在spark-submit提交时设置相应的参数 1.3 调节到多大（原则：能使用的资源有多大，就尽量调节到最大的大小） ...
分类：
其他好文 时间：
2017-02-23 15:49:45
阅读次数：
356
找web安全扫描器的时候发现了netsparker4.0，是2015年的新版，最大的亮点就是安全扫描的自动化程度更高了！安全测试时你不再需要录制登录信息，同时其还支持双因素认证。界面看起来很高大上，于是网上下载了个破解版体验了一下 初体验 界面很简单明了，设置下url 然后就可以快速使用默认方式进行 ...
分类：
Web程序 时间：
2017-02-19 11:04:49
阅读次数：
257
1.购物篮的定义 2.适用场景 3.相关概念 4.步骤 5.编程实现 6.步骤 ...
分类：
其他好文 时间：
2017-02-12 15:47:28
阅读次数：
222
