启动hiveserver2：hiveserver2 --hiveconf hive.execution.engine=spark spark.master=yarn使用beeline连接hiveserver2：beeline -u jdbc:hive2://hadoop000:10000 -n sp...
分类：
其他好文 时间：
2015-03-12 18:56:16
阅读次数：
835
应用场景：使用JavaHiveContext执行SQL之后，希望能得到其字段名及相应的值，但却出现"Caused by: java.io.NotSerializableException: org.apache.spark.sql.api.java.StructField"的错误，代码如下：Java...
分类：
其他好文 时间：
2015-03-12 16:36:59
阅读次数：
337
Spark是一个开源，跨平台IM客户端。它的特性支持集组聊天，电话集成和强大安全性能。此外，它还提供在线拼写检查，组聊天书签和选项卡式会话这样强大的终端用户体验。如果企业内部部署IM，使用Openfire+Spark是最佳的组合。1.Spark的官网地址是：http://www.igniterealtime.org..
分类：
其他好文 时间：
2015-03-11 15:10:23
阅读次数：
138
1.Smack是什么？Smack是为使用XMPP服务器进行即时交流（包括发送即时消息和组聊天）而提供的库。2.Smack有哪些优点？非常简单易用，强大的API。只需几行代码就能完成发送消息。Smack与其它类库不同的是，它不会强制你在包级使用。它提供了更有效的高级别的结构如Chat类和Roster..
分类：
系统相关 时间：
2015-03-11 15:10:09
阅读次数：
200
1.arm-none-linux-gnueabi-gcc下载
http://www.veryarm.com/arm-none-linux-gnueabi-gcc
arm-none-linux-gnueabi-gcc是 Codesourcery 公司（目前已经被Mentor收购）基于GCC推出的的ARM交叉编译工具。可用于交叉编译ARM系统中所有环节的代码，包括裸机程序、u-...
分类：
系统相关 时间：
2015-03-11 14:50:36
阅读次数：
632
通知：Spark北京Meetup第六次活动（机器学习专题） 将于北京时间3月21日 下午14:00-18:00在微软亚太研发集团总部大厦1号楼举行，主题包括：Julien PierreProduct Manager of the Shared Data Services team at Micro...
分类：
其他好文 时间：
2015-03-10 21:12:59
阅读次数：
124
申请大数据开发环境 1. 在SuperVessel主页上（http://www.ptopenlab.com ）点击申请大数据开发服务并登录 2. 选择你想要创建的服务类型，MapReduce或Spark，并选择需要的节点数以及磁盘大小 3. 稍作等待就能看到你...
分类：
其他好文 时间：
2015-03-10 19:51:47
阅读次数：
141
1、下载spark解压到D盘，现在的版本是1.2.12、下载scala安装到d:\ProgramFiles(x86)\scala\ 安装好scala后需要配置环境变量 修改path这个变量，把Scala的bin目录也放进去D:\ProgramFiles(x86)\scala\bin（现在版本的sca...
之前学习了通过Openfire+spark+smack的模式来完成我们的即时通讯软件，上次我们已经完成了Openfire的安装和配置，这次我们继续完成我们的客户端部分。
1.首先我们通过百度smack来下载我们所需要的jar包，将下载好的jar包导入到我们的工程中，创建一个工具类XmppTool:
package com.xmpp.client.util;
import o...
分类：
系统相关 时间：
2015-03-10 14:02:10
阅读次数：
658
一天一段scala代码（十）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
//特质的基本使用
trait Logger
{
def log(msg:String) //不定义,抽象方法
}
class Conso...
分类：
其他好文 时间：
2015-03-09 19:08:40
阅读次数：
129
