Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为meta....
分类:
其他好文 时间:
2014-05-23 05:54:55
阅读次数:
1771
Redis高可用部署及监控目录一、Redis
Sentinel简介二、硬件需求三、拓扑结构1、单M-S结构2、双M-S结构3、优劣对比四、配置部署1、Redis配置2、Redis
Sentinel配置3、启动服务4、故障模拟检测五、备份恢复1、备份策略2、灾难恢复六、运维监控1、安全监控2、性能监控...
分类:
其他好文 时间:
2014-05-23 04:05:34
阅读次数:
523
hadoop
中对java的基本类型进行了writeable的封装,并且所有这些writeable都是继承自WritableComparable的,都是可比较的;并且,它们都有对应的get()
和 set()方法,其中对整型(int 和 long)进行编码的时候,有固定长度格式(intWritabl...
分类:
其他好文 时间:
2014-05-23 03:10:15
阅读次数:
207
Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件2、安装Hadoop
Eclipse插件3、配置Hadoop目录4、配置Hadoop连接5、新一个MapReduce工程WordCount.javaMapReduce——WordCount问题总结参考:http://bl...
分类:
系统相关 时间:
2014-05-23 02:44:30
阅读次数:
354
Hadoop 运行环境准备运行环境部署结构介绍Linux
CentOS6.5安装(Hadoop环境配置)Linux
常用远程管理工具介绍SSH免密码登录配置Hadoop安装及配置Hadoop验证-WordCount执行Hadoop开发工具准备Hadoop Eclipse
Plugin配置安装及验证H...
分类:
其他好文 时间:
2014-05-23 02:41:15
阅读次数:
211
通过MapReduce程序分析气象数据集,更好的了解计算过程。环境:Hadoop 1.2.1
& Centos 6.5
x641、气象数据集准备下载链接:ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大,可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS...
分类:
其他好文 时间:
2014-05-22 15:39:14
阅读次数:
361
Hadoop Studio 是一个 map-reduce
结构的集成开发环境,基于NetBeans。你可以利用它来方便快速的创建基于Hadoop的 map-reduce
应用。该工具提供了一个实时的map-reduce任务的工作流视图,可以显示任务之间独立的输入输出和交互,而且该视图在代码修改时会实...
分类:
其他好文 时间:
2014-05-22 15:06:10
阅读次数:
302
block(如有错误,或者有一些建议 , 请联系我 愿意听取建议)block比函数灵活
可以在程序里面设定 也可以在程序外面设定block主要用于封装程序到适应的时候调用(有参数 和 无参数)block重命名 typedefint
(^MyBlock) (int,int)其中int (^MyBloc...
分类:
其他好文 时间:
2014-05-22 14:59:43
阅读次数:
238
一、hibernate访问持久化类属性的策略:
在元素中的access属性用于指定Hibernate访问持久化类属性的方式。 常见的方式如下:
1、property:默认值。hibernate通过相应的getXXX()和setXXX()方法。 2、field:hibernate运用反...
分类:
系统相关 时间:
2014-05-22 14:58:26
阅读次数:
342
委托模式是基本的设计模式之一。委托,即是让另一个对象帮你做事情。
许多其他的模式,如状态模式、策略模式、访问者模式本质上是在更特殊的场合采用了委托模式。
委托模式使得我们可以用聚合来替代继承。...
分类:
移动开发 时间:
2014-05-21 13:25:19
阅读次数:
273