启动Spark集群spark@master $ ./sbin/start-all.sh也可以一台一台启动，先启动 masterspark@master $ ./sbin/start-master.sh启动两台 slave，spark@worker01 $ ./sbin/start-slave.sh ...
分类：
其他好文 时间：
2015-07-29 15:36:15
阅读次数：
108
一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？答案自然是有办法。 在RDD上调用coalesc...
分类：
其他好文 时间：
2015-07-29 12:03:33
阅读次数：
175
前言Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD：SchemaRDD。SchemaRDD类似于传统关系型数据库的一张表，由两部分组成：Rows：数据行对象Schema：数据行模式：列名、列数据类型、列可否为空等S...
分类：
数据库 时间：
2015-07-29 12:02:57
阅读次数：
147
最近一直在研究Spark的分类算法，因为我们是做日志文本分类，在官网和各大网站一直没找到相应的Demo，经过1个多月的研究，终于有点成效。def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setApp...
分类：
其他好文 时间：
2015-07-29 11:58:43
阅读次数：
846
一、准备编译软件1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。环境变量设置如下：（1）执行vim/etc/profile（2）在文件尾部加入:exportJAVA_HOME=/home/spark/jdk1.7
exportMAVEN_HOME=/home/spark/apache-maven-3.2.1
exportANT_HOME=/home/spark..
分类：
系统相关 时间：
2015-07-29 06:52:17
阅读次数：
218
1.在官网下载1.3.0源码后执行如下命令：./make-distribution.sh--tgz--skip-java-test--with-tachyon-Dhadoop.version=2.4.0-Djava.version=1.7-Dprotobuf.version=2.5.0-Pyarn-Phive-Phive-thriftserver2.参数说明：--tgz生成部署包；--skip-java-test滤过测试阶段；--with-ta..
分类：
系统相关 时间：
2015-07-29 06:51:17
阅读次数：
282
今天学习了王家林老师scala讲座的第71讲，scala界面编程panel实战。让我们一起来看一下.信息来源于DT大数据梦工厂微信公众账号：DT_Spark关注微信账号，获取更多关于王家林老师的课程内容王老师QQ:1740415547微信号：18610086859不多说，先上代码：importscala.swing._objectGU..
分类：
其他好文 时间：
2015-07-29 06:40:18
阅读次数：
92
今天学习了王家林老师scala讲座的第71讲，scala界面编程panel实战。让我们一起来看一下.信息来源于 DT大数据梦工厂微信公众账号：DT_Spark关注微信账号，获取更多关于王家林老师的课程内容王老师QQ:1740415547 微信号：18610086859不多说，先上代码：import ...
分类：
其他好文 时间：
2015-07-28 22:49:55
阅读次数：
114
2015年技术类《linux鸟哥的私房菜》2th Edition《大型网站网站系统与Java中间件实践》 已完成《大型网站技术架构核心原理与案例分析》《Java虚拟机规范 Java SE 7版》 已完成《Lucene实战》 已完成《第一本Docker书》《Spark大数据处理技术》《从Paxos到Z...
分类：
其他好文 时间：
2015-07-28 22:47:17
阅读次数：
183
前言Spark能够自动推断出Json数据集的“数据模式”（Schema），并将它加载为一个SchemaRDD实例。这种“自动”的行为是通过下述两种方法实现的：jsonFile：从一个文件目录中加载数据，这个目录中的文件的每一行均为一个JSON字符串（如果JSON字符串“跨行”，则可能导致解析错误）；...
分类：
编程语言 时间：
2015-07-28 12:53:12
阅读次数：
291
