码迷,mamicode.com
首页 >  
搜索关键字:spark 安装、介绍    ( 7164个结果
Storm与Spark:谁才是我们的实时处理利器
实时商务智能这一构想早已算不得什么新生事物(早在2006年维基百科中就出现了关于这一概念的页面)。然而尽管人们多年来一直在对此类方案进行探讨,我却发现很多企业实际上尚未就此规划出明确发展思路、甚至没能真正意识到其中蕴含的巨大效益。为什么会这样?一大原因在于目前市场上的实时商务智能与分析工具仍然非常有...
分类:其他好文   时间:2015-04-11 23:48:15    阅读次数:233
关于分布式系统的简单说明
最近略忙,一直没机会把Spark系统情况跟二位交代一下。。。简单说说,如果有时间的话再作补充。当前共三个节点:tianchi-node1(202.113.76.229),tianchi-node2(某公网ip)和tianchi-node3(202.113.76.35)。登录主机的用户帐号(三台相同)...
分类:其他好文   时间:2015-04-10 21:48:47    阅读次数:128
openfire开发(二)openfire消息流程
在完成了第一节的环境搭建之后,相信你的openfire已经能在eclipse中运行、调试了。下面主要介绍一下用什么方法去熟悉openfire与客户端的消息处理流程,阅读代码的事情就交由你自己了。为了帮助我们理解消息流程,可以到官网下载个spark客户端软件,然后启动调试模式,这样,我..
分类:其他好文   时间:2015-04-10 20:29:44    阅读次数:192
把Spark SQL的metadata存储到mysql
1:安装配置mysqlyum install mysqlmysql-serverservice mysqld startmysqladmin -u root password newpasswordmysql -u root -p登录mysqlmysql>GRANT ALL PRIVILEGES O...
分类:数据库   时间:2015-04-10 19:52:42    阅读次数:178
ubuntu装spark openfire
spark http://www.igniterealtime.org/downloads/index.jsp#spark?下载spark的rpm包 用alien将rpm包转成deb包(sudo apt-get install alien), alien xxx.rpm sudo dpkg -i spark.deb 装好后命令行输入 spark , 报...
分类:系统相关   时间:2015-04-10 15:44:02    阅读次数:180
使用IDEA开发SPARK提交remote cluster执行
开发环境操作系统:windows开发工具:IntelliJ IDEA 14.1.1 需要安装scala插件编译环境:jdk 1.7 scala 2.10.4使用IDEA开发spark应用1:新建scala项目:2:选择scala版本,需要spark的scala版本对应点击上图Scala SDK的cr...
分类:其他好文   时间:2015-04-10 15:16:04    阅读次数:147
Android Studio开发环境搭建
现在越来越多的人使用Android studio进行Android应用开发了。掌握Android studio的使用已经是每一个Android开发者必备的技能了。下面介绍一下如何进行Android studio开发环境的安装。上面是Android studio的安装介绍,可以看到想要安装Androi...
分类:移动开发   时间:2015-04-10 01:00:08    阅读次数:202
mllib:Exception in thread "main" org.apache.spark.SparkException: Input validation failed.
当我们使用mllib做分类,用到逻辑回归或线性支持向量机做分类时,可能会出现下面的错误: 15/04/09 21:27:25 ERROR DataValidators: Classification labels should be 0 or 1. Found 3000000 invalid labels Exception in thread "main" org.apache.spark.S...
分类:Web程序   时间:2015-04-09 23:52:01    阅读次数:262
mllib:java.lang.IllegalArgumentException: GiniAggregator given label 2.0 but requires label < numCla
报错信息 :  java.lang.IllegalArgumentException: GiniAggregator given label 2.0 but requires label  在用mllib做分类,当用到一些分类算法时,常常需要加入基尼系数。 程序代码:RandomForest.trainClassifier(validData,2,Map[In...
分类:编程语言   时间:2015-04-09 21:54:31    阅读次数:203
《Apache Spark源码剖析》
Spark Contributor,Databricks工程师连城,华为大数据平台开发部部长陈亮,网易杭州研究院副院长汪源,TalkingData首席数据科学家张夏天联袂力荐1.本书全面、系统地介绍了Spark源码,深入浅出,细致入微2.提供给读者一系列分析源码的实用技巧,并给出一个合理的阅读顺序....
分类:Web程序   时间:2015-04-09 06:22:34    阅读次数:163
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!