大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说
分类：
其他好文 时间：
2018-10-25 22:12:57
阅读次数：
180
商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。对比版选择：DKhadoop发行版、cloudera发行版、hortonworks发行版、MAPR发行版、华为hadoop发行版Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apa
分类：
其他好文 时间：
2018-10-19 19:22:58
阅读次数：
118
首先Hive的底层首先是MR,是属于批处理处理时间相对较长，不属于实时读写。在其架构上HBase和Hive有很大的区别. 架构介绍： Hive架构 –(1)用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive ...
分类：
其他好文 时间：
2018-09-17 17:44:50
阅读次数：
117
如果我们想把文件上传到Hadoop集群中，使用put命令即可。下面的语句是将本地文件上传到hadoop集群的/目录下。 hadoop fs -put fruit.txt / 下面介绍通过脚本将文件分发到Hadoop集群的方法。因为Hadoop本身就带有文件自动分发的功能，我们只需在启动hadoop作 ...
分类：
Web程序 时间：
2018-09-14 01:19:02
阅读次数：
222
之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 猜测是hadoop.dll的问题,因为之前用的是3.0的,于是去GitHub上下了个3.1的,链接https ...
分类：
编程语言 时间：
2018-09-13 21:39:18
阅读次数：
2147
1、简答说一下hadoop的map reduce编程模型 首先map task会从本地文件系统读取数据，转换成key value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key val ...
分类：
其他好文 时间：
2018-09-08 22:33:48
阅读次数：
147
https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653550127&idx=1&sn=93f79e007d757a2ba887e8dc9e6c47f6&chksm=813a67b7b64deea1093304b21065d76073f0e ...
分类：
数据库 时间：
2018-09-07 14:21:05
阅读次数：
180
Hadoop 单机模式安装配置 ? Hadoop 的单机模式安装非常简单,只需要配置好环境变量即可运行,这个模式一般用来学习和测试hadoop 的功能。 1、获取软件 http://hadoop.apache.org/ 2、安装配置 java 环境,安装 jps 工具 3、设置环境变量,启劢运行 v ...
分类：
其他好文 时间：
2018-09-06 00:11:20
阅读次数：
211
首先什么是UDF，UDF的全称为user-defined function，用户定义函数，为什么有它的存在呢？有的时候 你要写的查询无法轻松地使用Hive提供的内置函数来表示，通过写UDF，Hive就可以方便地插入用户写的处理代码并在查询中使用它们，相当于在HQL（Hive SQL）中自定义一些函数 ...
分类：
其他好文 时间：
2018-08-27 18:32:57
阅读次数：
142
在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上）？划分后的数据又如何读取？这就是本文所要讨论的问题。先从一张经典的MapR ...
分类：
其他好文 时间：
2018-08-23 11:24:06
阅读次数：
189
