hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据...
分类：
其他好文 时间：
2014-07-22 00:20:35
阅读次数：
252
重新格式化hdfs系统的方法：（1）查看hdfs-ste.xmldfs.name.dir/home/hadoop/hdfs/namenamenode上存储hdfs名字空间元数据dfs.data.dir/home/hadoop/hdsf/datadatanode上数据块的物理存储位置将dfs.name...
分类：
其他好文 时间：
2014-07-22 00:10:37
阅读次数：
263
?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
Mahout0.9+Hadoop-2.2.0贝叶斯分类纯java实战代码，希望能给搞大数据数据挖掘的java粉们有所帮助，也希望大家提出建议。也希望Mahout社区大牛，帮忙看看我遇到的问题，先在这里谢过了。。...
分类：
其他好文 时间：
2014-07-21 22:47:27
阅读次数：
365
虽然我们在虚拟机客户端上能很快通过shell命令，进行执行一些已经封装好实例程序，但是在应用中还是是自己写程序，然后部署到服务器中去，下面，我通过程序进行浅谈一个程序的部署过程。
在启动Hadoop之后，然后把程序达成可执行的jar包，并把相应的第三方jar包 包含进去。执行hadoop jar XXX. +驱动名称。package com.mapred;
import java.i...
分类：
其他好文 时间：
2014-07-21 22:33:08
阅读次数：
239
Hadoop任务提交分析
分析工具和环境
下载一份hadoop的源码，这里以hadoop-1.1.2为例。本地IDE环境为eclipse，导入整个目录，然后可以在IDE里面看到目录结构了，要分析任务提交过程，需要找到入口代码，很明显，对于熟悉Hadoop应用程序开发的同学来说很容易的知道任务的提交是从job的配置开始的，所以需要这样一份提交Job的代码，在src/examples里...
分类：
其他好文 时间：
2014-07-21 22:21:28
阅读次数：
302
core-site.xml<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qlserver03:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop/tmp</..
分类：
其他好文 时间：
2014-07-21 19:34:42
阅读次数：
247
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException
at org.apache.hadoop.mapreduce.Job$1.run(Job.java:563)
at java.security.AccessC...
分类：
移动开发 时间：
2014-07-21 16:36:54
阅读次数：
251
Rewrite Handler
RewriteHandler基于一套规则匹配一个请求，然后根据匹配的规则修改请求。最常见的是重写请求的URI，但是不仅限于此：规则能被配置为重定向响应、设置一个cookie或者响应的响应代码、修改header，等等。
快速开始
标准Jetty发布中包含jetty-rewrite模块JAR，在lib/jetty-rewrite-*.jar，和一个例子配置文件，在...
分类：
其他好文 时间：
2014-07-21 16:24:13
阅读次数：
213
1、Could not chdir to home directory /home/USER: Permission denied启动datanode时会报这个错误，尝试利用ssh登录datanode，发现需要密码。解决办法： 利用root权限修改/etc/sysconfig/selinux，将S....
分类：
其他好文 时间：
2014-07-21 14:27:28
阅读次数：
281
