前言： 最近在研究spark 还有 kafka ， 想通过kafka端获取的数据，利用spark streaming进行一些计算，但搭建整个环境着实不易，故特此写下该过程，分享给大家，希望大家可以少走点弯路，能帮到大家！环境准备： 操作系统 ： ubuntu14.04 LT...
分类：
其他好文 时间：
2016-01-06 21:52:47
阅读次数：
3007
1.yum install sbt2.如果不行，则curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.reposudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/sudo yum install sbt...
分类：
其他好文 时间：
2015-12-30 13:41:50
阅读次数：
4455
设置是我在多个项目中通用的，不过根据应用场景的不同，还会有其它细调，就不在这一一说明了。 － Sunface +K true 开启epoll调度，在linux中开启epoll，会大大增加调度的效率+A 100 异步线程池，为某些port调用服务+P 1024000 最大进程数+Q 65535 最大port数+sbt db 绑定调度器，绑定后调度器的任务队列不会在各个CPU线程...
分类：
其他好文 时间：
2015-12-10 19:41:38
阅读次数：
222
kafka默认提供的源码是通过sbt进行构建的，在向eclipse导入的时候不是很方便，所以可先将其转换成maven项目，pom.xml配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="h...
分类：
其他好文 时间：
2015-12-05 01:55:01
阅读次数：
157
在经过无数个尝试后，最终用sbt把play所依赖的所有包都下载下来了，现在可以非常快速编译运行了。今天体验了下网页模板，觉得非常不错，在这里做个简单的介绍。原文说明：A Play Scala template is a simple text file that contains small blo...
分类：
Web程序 时间：
2015-11-29 16:27:04
阅读次数：
132
1.activator 创建项目2.build.sbt plugins.sbt 添加resolvers += Resolver.url("bintray-sbt-plugins", url("https://dl.bintray.com/sbt/sbt-plugin-releases/"))(Re....
分类：
其他好文 时间：
2015-11-27 19:42:19
阅读次数：
152
FROM java:openjdk-8ENV HADOOP_HOME /opt/spark/hadoop-2.6.0ENV MESOS_NATIVE_LIBRARY /opt/libmesos-0.22.1.soENV SBT_VERSION 0.13.8ENV SCALA_VERSION 2.11...
分类：
其他好文 时间：
2015-11-27 14:43:14
阅读次数：
162
1.sbt是什么对于sbt 我也是小白, 为了搞spark看了一下scala，学习scala时指定的构建工具就是sbt（因为sbt也是用scala开发的嘛），起初在我眼里就是一个maven（虽然maven我也没怎么用），后面构建2个项目之后，发现还是蛮强大的，就是学习成本有点高。哎，但是现在什么东东...
分类：
其他好文 时间：
2015-11-26 14:57:25
阅读次数：
210
