一：Hadoop基本概念 一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce 二：Hadoop解决问题 1.海量数据的存储（HDFS） ...
分类：
其他好文 时间：
2020-02-12 13:07:41
阅读次数：
128
1.1 计数器 计数器的作用是用来统计数量的，用于记录特定事件的次数，分为内置计数器、自定义java枚举计数器、自定义Stream计数器三大类。用于质量分析，或应用级统计。分析计数器的值比分析一堆日志更高效。 计数器名称 计数器介绍 内置计数器 Hadoop自带的计数器，有特定的计数器名称。例如统计 ...
分类：
其他好文 时间：
2020-02-12 10:36:11
阅读次数：
69
Hadoop和Apache Spark究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不 ...
分类：
其他好文 时间：
2020-02-12 00:20:53
阅读次数：
86
1、Hive导出数据有几种方式？如何导出数据（1）insert导出本地：insertoverwritelocaldirectory‘本地路径‘select*from表名;导出到HDFS：insertoverwritedirectory‘hdfs路径‘select*from表名;（2）hadoop命令hdfsdfs-get/user/hive/warehouse/st
分类：
其他好文 时间：
2020-02-11 11:50:10
阅读次数：
59
第一章 Hue的安装 === 1、Hue的介绍 === HUE= Hadoop User Experience ? Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Py ...
分类：
其他好文 时间：
2020-02-11 09:56:19
阅读次数：
70
启动hadoop -ls：显示文件夹内容 -put:上传到hdfs上 -cat:显示文件内容 hdfs文件读取成功：三种方式 ...
分类：
系统相关 时间：
2020-02-11 09:38:51
阅读次数：
116
Property列表链接：http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 为什么会想着写这个？ 因为我在Deepin上配置Hadoop运行环境出了很多奇妙的问题，其中最恶心的就 ...
分类：
其他好文 时间：
2020-02-11 00:25:45
阅读次数：
71
今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 ...
分类：
系统相关 时间：
2020-02-10 19:42:49
阅读次数：
94
一、安装hadoop 1、将文件解压到/usr/local [root@localhost src]# tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/ 2、配置环境变量 [root@localhost src]# vim /etc/profile 增加以下配 ...
分类：
其他好文 时间：
2020-02-10 13:55:50
阅读次数：
75
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
