首先检查系统安装的mysql版本，使用命令 rpm -qa | grep mysql若要安装自己的版本，则先执行删除操作 rpm -e xxxxx.rpm --nodeps然后安装自己的版本， rpm -i xxxxx.rpm 远程连接mysql，操作步骤如下：1、进入mysql环境中 mysql ...
分类：
数据库 时间：
2014-08-18 01:26:53
阅读次数：
276
近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn...
分类：
其他好文 时间：
2014-08-17 21:08:52
阅读次数：
890
hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是..
分类：
其他好文 时间：
2014-08-17 01:11:02
阅读次数：
241
1408171404636### <iq id="aSb6h-0" type="set" from="linux/eab452f7"> ? <bind xmlns="urn:ietf:params:xml:ns:xmpp-bind"> ??? <resource>Spark 2.6.3</resource> ? </bind> </iq> 1408171404641### <iq...
分类：
其他好文 时间：
2014-08-16 15:13:21
阅读次数：
333
本文所用环境为3台hadoop2.2，hbase已经安装完毕，具体安装可参照前两篇文章。hive适用的元数据库为mysql，所以master上要安装mysql，用系统自带的即可，这里不在详述。(1)安装hive解压#tarzvxfhive-0.12.0.tar.gz-C/usr
#cd/usr
#mvhive-0.12.0hive2.替换jar包，保持hbase0.96..
分类：
其他好文 时间：
2014-08-16 09:49:41
阅读次数：
303
两者都是Actionscript开发的UI组件库。
都比Flex组件库“轻”很多。
FlexLite基本沿袭了Flex的Spark组件框架的结构设计（失效机制，延迟渲染，皮肤等），去除了一些功能。从而变得“轻”。
MoreUI基本结构和Flex3时代的mx组件框架的结构设计，没有将皮肤功能分离出来。与Flex组件相比，属性、功能减少了很多，从而变得“轻”。
我对两者的评价：...
分类：
其他好文 时间：
2014-08-15 23:50:19
阅读次数：
458
本文简要描述线性回归算法在Spark MLLib中的具体实现，涉及线性回归算法本身及线性回归并行处理的理论基础，然后对代码实现部分进行走读。
分类：
其他好文 时间：
2014-08-15 21:05:49
阅读次数：
562
hive按当天日期建立分区表 | 动态往日期分区插入数据...
分类：
其他好文 时间：
2014-08-15 19:39:10
阅读次数：
352
一、 Hive join优化
1. 尽量将小表放在join的左边，我们这边使用的hive-0.12.0,所以是自动转化的，既把小表自动装入内存，执行map side join(性能好), 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可...
分类：
其他好文 时间：
2014-08-15 17:50:39
阅读次数：
272
