作者：雪松Microsoft MVP -- Windows Platform Development,Hortonworks Certified Apache Hadoop 2.0 DeveloperHDInsight cluster on Linux登录 Azure portal (https:/...
分类：
其他好文 时间：
2015-08-04 09:23:40
阅读次数：
272
1、安装java2、安装scalascala下载地址：http://www.scala-lang.org/download/2.10.3.html解压到/root/software配置环境变量vim/etc/profile添加SCALA_HOME=/root/software/scala-2.10.4PATH=$SCALA_HOME/bin:$PATHsource/etc/profile3、安装spark可以参考下面的http://blog.cs..
分类：
其他好文 时间：
2015-08-03 22:57:23
阅读次数：
153
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi...
分类：
其他好文 时间：
2015-08-03 18:23:27
阅读次数：
170
王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典（1-64讲）完整视频、PPT、代码下载：百度云盘：http://pan.baidu.com/s/1c0noOt6 腾讯微云：http://url.cn/TnGbdC 360云盘：http://yunpan.cn/cQ4c2U...
分类：
其他好文 时间：
2015-08-03 18:20:59
阅读次数：
114
一Scala函数的定义DT大数据梦工厂的微信公众号是DT_Spark，每天都会有大数据实战视频发布Scala 深入浅出实战经典（1-64讲）完整视频、PPT、代码下载：百度云盘：http://pan.baidu.com/s/1c0noOt6 腾讯微云：http://url.cn/TnGbdC 360...
分类：
其他好文 时间：
2015-08-03 06:29:39
阅读次数：
131
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 重启ssh：rcsshd restart开机启动ssh服务： systemctl enable sshd.ser....
分类：
其他好文 时间：
2015-08-03 00:54:53
阅读次数：
120
感悟：曾经一直对自己在组内的研究方向特别困惑，一方面师兄想让自己在组内研究Spark，但组内的师兄和导师对Spark并不太熟悉，另外也没有具体的任务驱动去完成这件事；另一方面自己觉得师兄对deep learning比较熟悉，跟着或许能学点东西。但是今日和同学锦坤交流后又觉得对于目前的自己来说de.....
分类：
其他好文 时间：
2015-08-02 22:55:52
阅读次数：
125
Spark集群处理能力不足需要扩容，如何在现有spark集群中新增新节点？本文以一个实例介绍如何给Spark集群新增一个节点。1. 集群环境现有Spark集群包括3台机器，用户名都是cdahdp，主目录/home/ap/cdahdp，配置是2C8G虚拟机，集群基于yarn架构。 Master：128...
分类：
其他好文 时间：
2015-08-02 15:01:27
阅读次数：
142
今天学习了模式匹配下的for循环内容。让我们从代码实战角度出发。 for(i"spark","java"->"hadoop")) println(language)//给一个参数初始化进行匹配 for((k,v:Int) B) { var these = this while (!these.is....
分类：
其他好文 时间：
2015-08-02 13:15:49
阅读次数：
91
1.建立spakTesk项目，建立scala对象Test2.Tesk对象的代码如下package sparkTest/** * Created by jiahong on 15-8-2. */import org.apache.spark.{SparkConf,SparkContext}object...
分类：
其他好文 时间：
2015-08-02 11:44:39
阅读次数：
120
