今天又学习了王家林老师的scala学习讲座第70讲，关于scala的界面编程，让我们来初步学习一下scala中界面编程的过程。信息来源于 DT大数据梦工厂微信公众账号：DT_Spark关注微信账号，获取更多关于王家林老师的课程内容王老师QQ:1740415547 微信号：18610086859首先，...
分类：
其他好文 时间：
2015-07-28 00:41:11
阅读次数：
117
王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典（1-64讲）完整视频、PPT、代码下载：百度云盘：http://pan.baidu.com/s/1c0noOt6 腾讯微云：http://url.cn/TnGbdC 360云盘：http://yunpan.cn/cQ4c2U...
分类：
其他好文 时间：
2015-07-27 22:38:44
阅读次数：
146
这一阶段主要是在学习Scala，知乎上说推荐先学习一下Haskell再学习Scala，但我觉得不一定要曲线救国。不过在学习过程中遇到的困难的确不少，好歹Scala是公认的其特性的复杂程度是要超过C++的嘛:-)我学习Scala的主要动机是想研究Spark，尽管Python和Java等都可以用来开发S...
分类：
其他好文 时间：
2015-07-27 22:35:19
阅读次数：
27544
众所周知，Nodejs是单进程异步运行的，但不光是单进程，Nodejs也提供了多进程方面的支持
其创始人应该还是比较重视这一块的，最有力的证据就是child_process是Nodejs核心模块之一大多数情况下应该用不到这个模块，但child_process却能做很多有意思的事情shell调用最近用到的比较实用的功能，在做大数据处理的时候，需要根据客户在页面上的点击转化为spark集群的命令
s...
分类：
Web程序 时间：
2015-07-27 19:08:10
阅读次数：
116
1、下载
下载地址：
http://spark.apache.org/downloads.html
选择下载源码
2、源码编译
1）解压
tar -zxvf spark-1.4.1.tgz
2、编译
进入根目录下，采用make-distribution.sh进行编译。
cd spark-1.4.1
sudo ./make-distribution.s...
分类：
其他好文 时间：
2015-07-27 18:52:13
阅读次数：
161
写了很简单的一段spark代码，将结果保存为windows本地文件，执行之后总是报错NullPointerException查询之后 发现是本地缺少hadoop需要的一个文件所致如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决1）下载需要的文件 winutils.e...
分类：
其他好文 时间：
2015-07-27 16:15:46
阅读次数：
173
今天碰到一个问题，需要通过JDBC链接数据库，使用Spark读取并处理数据，想到使用JdbcRDD，JdbcRDD的类定义如下 private[spark] class JdbcPartition(idx: Int, val lower: Long, val upper: Long) extends...
分类：
数据库 时间：
2015-07-27 14:38:41
阅读次数：
499
1、我用的Java版本是Version 8 Update 51，验证方法可到这个网址下去验证http://www.java.com/zh_CN/download/installed.jsp
2、openfire用的是openfire_3_10_2.dmg
3、spark用的是spark_2_6_3
4、安装好之后，第一次是可以启动openfire服务器的，但是重启...
分类：
系统相关 时间：
2015-07-27 13:11:41
阅读次数：
404
前面提到，submitMissingTask是分发任务的开始，首先submitMissingTasks判断该stage是否为shuffle map stage，是则getPreferredLocs，实例化一个ShuffleMapTasks返回一组task集合，否则是final stage，getPr...
分类：
Web程序 时间：
2015-07-26 22:37:00
阅读次数：
645
对于ResultTask，直接执行func操作，最后告知任务是否执行完成；而对于ShuffleMapTask，则需要将中间结果存储到实例化DirectTaskResult，以备下一个task使用，同时还要返回实例化的MapStatus。 Executor.run中，当Task执行完毕调用execBa...
分类：
Web程序 时间：
2015-07-26 22:36:49
阅读次数：
203
