1.安装sbt正常安装流程。在cmd里运行的时候，要提前设置代理（如果上网有代理），set JAVA_OPTS=-Dhttp.proxySet=true -Dhttp.proxyHost=172.17.18.84 -Dhttp.proxyPort=8080。这样sbt就可以联网下载了，否则后续的安装...
分类：
其他好文 时间：
2015-07-07 18:34:36
阅读次数：
121
一个、问题定义 近期使用sbt战斗assembly发生故障时，包，在package什么时候，发生jar包冲突/文件冲突，两个相同class来自不同jar包classpath内心冲突。有关详细信息：我有一个self4j的jar， hadoop-common-hdfs的jar包。当中hadoop-co....
分类：
编程语言 时间：
2015-06-28 16:55:34
阅读次数：
134
1、准备工作 ??? scala-2.9.3：一种编程语言，下载地址：http://www.scala-lang.org/download/ ??? spark-1.4.0：必须是编译好的Spark，如果下载的是Source，则需要自己根据环境使用SBT或者MAVEN重新编译才...
分类：
其他好文 时间：
2015-06-25 15:46:03
阅读次数：
222
在scala中使用postgresql，重点在于sbt的配置，当然如果使用像eclipse等IDE编译器，就不用管怎么配置了
另外也讲了在scala中使用数据库的一些语法，这些语法不仅适用于postgresql，其他数据库也是一样的...
分类：
数据库 时间：
2015-06-20 17:11:39
阅读次数：
192
一、环境说明Mac OSX 10.10.3 Java 1.7.0_71Spark 1.4.0二、编译安装tar -zxvf spark-1.4.0.tgzcd spark-1.4.0./sbt/sbt assemblyps：如果之前执行过编译，需要执行./sbt/sbt clean清理后才能重新编....
分类：
其他好文 时间：
2015-06-14 12:17:06
阅读次数：
202
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要...
分类：
其他好文 时间：
2015-06-14 09:38:28
阅读次数：
219
project/Build.scalaimport sbt._import Keys._import play.Play.autoImport._import PlayKeys._import com.typesafe.sbt.less.SbtLess.autoImport._import com....
分类：
移动开发 时间：
2015-06-04 11:18:50
阅读次数：
188
1.Scala in Action2.Scala in Depth3.Functional Programming in Scala4.Akka in Action5.Lift in Action6.Play for Scala7.Scalatra in Action8.SBT in Action9...
分类：
其他好文 时间：
2015-05-29 17:41:16
阅读次数：
125
1.Spark1.0.0 应用程序部署工具spark-submit2.Spark Streaming的编程模型3.使用java api操作HDFS文件4.用SBT编译Spark的WordCount程序5.在Spark上运行TopK程序6.在Spark上运行WordCount程序7.Spark一个简单...
分类：
其他好文 时间：
2015-05-28 21:21:46
阅读次数：
198
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要运行以下命令即可，假设当前目录是...
分类：
Web程序 时间：
2015-05-28 18:13:05
阅读次数：
208
