由于从官网下载的hadoop中依赖包native hadoop
library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO
org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:
其他好文 时间:
2014-06-06 23:38:29
阅读次数:
494
这里介绍一下hadoop的组成,
hadoop主要由两部分组成,,一个是hdfs,还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类:
其他好文 时间:
2014-06-06 19:27:24
阅读次数:
322
MiinCMP是一款开源企业站点系统,除可执行于256M左右100元的国内IDC外,JUULUU聚龙软件团队最近开发了面向新浪云的版本号,该版本号可将站点免费布署到新浪云SAE上。MiinCMP採用java开发,兼容jetty,tomcat等servlet容器。MiinCMP1.0
新浪云SAE版安...
分类:
其他好文 时间:
2014-06-06 17:29:41
阅读次数:
240
Ubuntu12.04-x64编译安装Hadoop2.2.0集群、Hadoop-Eclipse插件
分类:
其他好文 时间:
2014-06-06 14:08:15
阅读次数:
421
1. JDK安装www.java.com/zh/download2.
Jetty下载与安装download.eclipse.org/jetty,下载稳定版,解压到目标路径2.1
启动Jetty命令框中cd到根目录下,会看到有个start.jar启动文件,在该目录下,输入 java -jar star...
分类:
编程语言 时间:
2014-06-05 21:27:34
阅读次数:
416
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类:
其他好文 时间:
2014-06-04 14:40:40
阅读次数:
254
上一节讲述了怎么配置Jetty,这节将告诉你使用Jetty你需要配置些什么。
配置Server
Server实例是Jetty服务端的中心协调对象,它为所有其他Jetty服务端组件提供服务和生命周期管理。在标准Jetty发布中,核心的服务端配置是在etc/jetty.xml文件中,你也能在其中包含其他服务端配置,可以包括:
1)ThreadPool
Server实例提供了一个线程池,你可...
分类:
其他好文 时间:
2014-06-04 13:19:59
阅读次数:
247
Gradle为应用开发提供了两个相关的插件:war plugin以及jetty pluginwar
plugin继承了java plugin为你的工程构建war包,jetty pugin继承了war
plugin可以让的工程构建在嵌入式容器jetty中构建War文件首先在你的build.gradle...
分类:
Web程序 时间:
2014-06-02 16:02:06
阅读次数:
400
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase...
分类:
其他好文 时间:
2014-06-02 10:33:40
阅读次数:
277
hadoop yarn的重构,根本的思想是将 JobTracker 两个主要的功能分离成单独的组件,这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配,每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类:
其他好文 时间:
2014-06-02 02:27:16
阅读次数:
332