1.准备数据employee.txt1001,Gong Shaocheng,11002,Li Dachao,11003,Qiu Xin,11004,Cheng Jiangzhong,21005,Wo Binggang,3将数据放入hdfs[root@jfp3-1 spark-studio]# hdf...
分类：
数据库 时间：
2014-06-29 00:17:54
阅读次数：
415
linux下默认是不产生core文件的，要用ulimit -c unlimited放开概述系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 linux ...
分类：
其他好文 时间：
2014-06-29 00:07:38
阅读次数：
292
系统配置了coredump后，当程序异常终止时操作系统会在指定的目录下按指定的文件名格式产生一个core文件。core文件是程序内存映像以及相关的调试信息，通过gdb调试coredump文件可以知道导致程序异常终止的原因。1、系统配置coredump 首先是打开coredump，通过ulimi...
分类：
系统相关 时间：
2014-06-18 09:24:20
阅读次数：
333
Mahout源码目录说明mahout项目是由多个子项目组成的，各子项目分别位于源码的不同目录下，下面对mahout的组成进行介绍：1、mahout-core：核心程序模块，位于/core目录下；2、mahout-math：在核心程序中使用的一些数据通用计算模块，位于/math目录下；3、mahout...
分类：
其他好文 时间：
2014-06-18 08:41:11
阅读次数：
192
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark
history serve...
分类：
其他好文 时间：
2014-06-18 07:45:40
阅读次数：
250
本文分析了Spark1.0.0的Client，Master和Worker之间是如何通信的。通过对通信的分析，可以清楚的理解各个角色的作用和责任，和它在集群中扮演的不同角色。
当然了，为了便于源码分析，本文开始分析了akka，一个非常优秀的actor的实现：高性能，易于编程，可扩展和弹性无中心。...
分类：
其他好文 时间：
2014-06-18 06:59:54
阅读次数：
183
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
依赖坐标与本地仓库存储
org.springframework
spring-core
3.0.7.RELEASE
本地仓库存储
仓库分类:
本地仓库:
F:\maven\repos
中央仓库
...
分类：
其他好文 时间：
2014-06-18 06:27:57
阅读次数：
312
本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。组成cluster的不同节点，启动时有没有固定的顺序，为什么是这样的顺序，针对这些问题，本文会做一个详尽的分析。
分类：
其他好文 时间：
2014-06-18 00:10:53
阅读次数：
253
一.基本概念什么是Animation(动画),简单点说就是在一段时间内,显示的内容发生了变化.对CALayer来说就是在一段时间内,其Animatable Property发生了变化.从CALayer(CA = Core Animation)类名来看就可以看出iOS的Layer就是为动画而生的,便于...
分类：
移动开发 时间：
2014-06-17 23:49:39
阅读次数：
638
