一. Spark源码编译 解析： 说明：漫长的等待后，上述命令生成SBT工程，我们就可以使用IDEA以SBT Project的方式打开。 二. RDD实现详解 通过persist()或cache()方法可以持久化RDD，cache()是使用persist()的快捷方式。为了避免缓存丢失重新计算带来的 ...
分类：
其他好文 时间：
2016-07-04 18:45:10
阅读次数：
140
1.jcenter用来作什么?JCenteristheplacetofindandsharepopularApacheMavenpackagesforusebyMaven,Gradle,Ivy,SBT,etc.jcenter仓库网页地址:https://bintray.com/bintray/jcenterjcenter仓库源码地址:http://jcenter.bintray.com可以在"网页地址"中查找到某个库需要的maven/Ivy/..
分类：
其他好文 时间：
2016-06-30 23:35:48
阅读次数：
1034
以前一直是用maven去管理java项目，现在开始写scala项目了但是在scala-ide中去编译scala项目和sbt的区别一直没弄清楚受到文章：http://my.oschina.net/yjwxh/blog/601566的启发，查了相关的资料 sbt官网是http://www.scala-s ...
分类：
系统相关 时间：
2016-06-29 23:34:30
阅读次数：
518
cd sparkapp/ ls find . /usr/local/sbt/sbt packagepackage完成：hadoop@Athena:~/sparkapp$ lsproject simple.sbt src target打包位置：我们就可以将生成的 jar 包通过 spark-submi... ...
分类：
其他好文 时间：
2016-06-25 08:28:15
阅读次数：
167
独立应用程序（Self-Contained Applications）现在基于一个简单的APP，通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-sub... ...
分类：
其他好文 时间：
2016-06-25 08:27:44
阅读次数：
165
前言 博主属外包，因公司原因到另一个互联网电商公司上班一年多，辗转而回。电商公司架构是python-django写的，随着业务发展，改成scala-自己改造play框架。工具由PyCharm，升级IntelliJ IDEA。期间博主电脑系统盘升级固态硬盘，而.sbt和.ivy2默认都在c盘用户目录， ...
分类：
其他好文 时间：
2016-06-21 01:17:06
阅读次数：
2129
前端开发，使用tomcat调试，大致需要进行如下几个步骤。其中，第一步，进入项目所在目录敲sbt命令来打包，第二步，拷贝lib文件夹，第四步重启tomcat，反反复复已经让我不胜其烦，那么做个简单的bat脚本使其自动化吧。 针对本人d盘中的WebApp项目，bat脚本内容如下： 脚本逻辑就这么简单， ...
分类：
其他好文 时间：
2016-06-15 15:55:02
阅读次数：
140
最近重新在 Eclipse 中打开旧的 Maven 项目，总有些什么错误，备受折磨。期间试手了 Ant+Ivy, 现今试用了下 Gradle，感觉不错，它应该才是我真想要的，Maven 差不多该扔到一边去了。 Gradle 像 sbt 构建工具一样，也不会帮我们生成默认的目录布局，这些要自己来做。这 ...
分类：
其他好文 时间：
2016-06-08 15:46:51
阅读次数：
120
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Spark Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具， ...
分类：
其他好文 时间：
2016-06-03 15:40:02
阅读次数：
162
使用SBT构建Scala应用 SBT简介 SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。 虽然Maven同样可以管理Scala项目的依赖并进行构建， 但SBT的某些特性却让 ...
分类：
其他好文 时间：
2016-06-02 11:19:21
阅读次数：
613
