hadoop的运行环境应该是在linux环境。如果想在windows环境下安装和运行hadoop,一般有两种方式:一种是VM的方式linux操作系统,这样可以实现全linux环境的hadoop运行;另一种方式安装cygwin模拟linux环境,该方法相对比较简单方便。本文采取cywin的方式。下面将...
在执行mdrill创建表的时候报如下异常(蓝色部分为关键):[mdrill@hadoop1101 bin]$ ./bluewhale mdrill create ./create.sql higo execute [create, ./create.sql]Exception in thread "...
分类:
其他好文 时间:
2014-08-14 23:05:46
阅读次数:
246
引言
本系列适合0基础的人员,因为我就是从0开始的,此系列记录我步入Android开发的一些经验分享,望与君共勉!作为Android队伍中的一个新人的我,如果有什么不对的地方,还望不吝赐教。
在开始Android开发之旅启动之前,首先要搭建环境,然后创建一个简单的HelloWorld。本文的主题如下:
1、环境搭建
1.1、JDK安装 1.2、Eclipse安装 1....
分类:
移动开发 时间:
2014-08-14 20:50:29
阅读次数:
279
hadoop版本为hadoop1.2.1eclipse版本为eclipse-standard-kepler-SR2-win32-x86_64WordCount.java为hadoop-1.2.1\src\examples\org\apache\hadoop\examples\WordCount.ja...
HDFS
HDFS是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上,它具有以下几个特点:
1)适合存储非常大的文件
2)适合流式数据读取,即适合“只写一次,读多次”的数据处理模式
3)适合部署在廉价的机器上
但HDFS不适合以下场景(任何东西都要分两面看,只有适合自己业务的技术才是真正的好技术):
1)不适合存储大量的小文件,因为受Namenode内...
分类:
其他好文 时间:
2014-08-14 16:46:28
阅读次数:
260
HDFS ArchitectureIntroductionThe Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many...
分类:
其他好文 时间:
2014-08-14 16:23:38
阅读次数:
275
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的,Join 是整个 MR/Hive 最为核心的部分之一,是每个 Hadoop/Hiv...
分类:
其他好文 时间:
2014-08-14 16:22:48
阅读次数:
244
说明:本文档,是和struts2+hibernate的整合示例。lib下还有struts2的jar包,本示例没有显示。struts2的搭建参考struts2的环境搭建一下载hibernate的jar包,并将相关jar包导入的项目web-inf的lib下二:配置hibernate.cfg.xml文档 ...
分类:
系统相关 时间:
2014-08-14 16:10:18
阅读次数:
302
适用于场景连接的列数据量很大,在分布式缓存中无法存储时,Bloom Filter 可解决这个问题,用很小的内存可有MAP端过滤掉不需要JOIN的数据,这样传到REDUCE的数据量减少,减少了网络传及磁盘IO。缺点Bloom Filter 会有一定的错误率,但是错误率很低,用空间换取了时间。并且,最终...
分类:
其他好文 时间:
2014-08-14 16:05:39
阅读次数:
284
一、Android搭建开发环境(一)、工具准备1.下载JDKJDK即Java Development Kit(Java开发工具包),包括JAVA运行环境,基础类库和JAVA工具,是JAVA运行的基础。网址:http://www.oracle.com/technetwork/java/javase/d...
分类:
移动开发 时间:
2014-08-14 16:05:08
阅读次数:
331