hive> select product_id, track_time from trackinfo limit 5; Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks ...
分类：
编程语言 时间：
2014-08-08 17:52:46
阅读次数：
313
来自：http://heipark.iteye.com/blog/1171923通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到 class（ClassNotF...
分类：
系统相关 时间：
2014-08-08 17:24:16
阅读次数：
240
1、源码 import?org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import?org.apache.hadoop.io.IOUtils;
import?java.io.InputStream;
import?java.net.URL;
/**
?*?Example?3.1
?*/
public?class?...
1、ANT方式 ? ? ? buid.xml内容： <project?name="TestHadoop"?default="compile"?basedir=".">
????<property?name="build"?location="build"?/>
????<path?id="hadoop-classpath">
????...
分类：
Windows程序 时间：
2014-08-08 13:02:06
阅读次数：
2561
MapReduce
MapReduce is a programming model for data processing. The model is simple, yet not
too simple to express useful programs in. Hadoop can run MapReduce programs written
in various languages...
分类：
其他好文 时间：
2014-08-08 12:44:23
阅读次数：
231
实施Hadoop集群--伪分布式安装准备与配置安装环境 安装虚拟机和linux，虚拟机推荐使用vmware，PC可以使用workstation，服务器可以使用ESXi，在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机，复制后自动修改网卡号和ip，非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。 以Centos为例，分区可以选择默认[如果想要手动分区,请参考博客:http:/...
分类：
其他好文 时间：
2014-08-08 09:40:15
阅读次数：
505
1、安装JDK1.6或更高版本 官网下载JDK，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。2、安装Cygwin Cygwin是Windows平台.....
先决条件：
Hadoop是用JAVA写的，所以首先要安装Java。在Ubuntu上安装JDK见：http://blog.csdn.net/microfhu/article/details/7667393
我下载的Hadoop版本是2.4.1，要求至少安装JDK 6以上。
Linux是唯一支持的生产环境，Unix，Windows或者Mac OS可以作为开发环境。在Windows上安装H...
分类：
系统相关 时间：
2014-08-08 01:59:25
阅读次数：
285
这里用通俗的语言解释一下这个函数，就类似于opencv一样，要添加链接库函数，cv.lib等，要添加到附加依赖项，或者通过#pragma comment（lib,”cv.lib“）一样，然后才能包含头文件进行各种函数的调用。当然了，socket编程要调用各种socket函数，但是需要库Ws2_32....
分类：
其他好文 时间：
2014-08-08 01:30:54
阅读次数：
257
错误信息： [wukong@bd11?HDFS_Java_API]$?hadoop?HDFSJavaAPI.jar?HDFSJavaAPIDemo
Warning:?$HADOOP_HOME?is?deprecated.
Error:?Could?not?find?or?load?main?class?HDFSJavaAPI.jar 报错原因...
分类：
其他好文 时间：
2014-08-07 23:27:13
阅读次数：
435
