搭建Hadoop集群需要注意的问题： 1.检查三台主机名是否正确 2.检查三台IP是否正确 3.检查 /etc/hosts 映射是否正确 4.检查 JDK和Hadoop 是否安装成功（看环境变量配置） 键入 ：sudo vi /etc/profile进到文件之后，检查环境变量配置是否正确： 5.检查 ...
分类：
其他好文 时间：
2019-12-15 14:27:17
阅读次数：
101
Archive for required library: 'C:/Users/Administrator/.m2/repository/org/apache/hadoop/hadoop-hdfs/2.7.3/hadoop-hdfs-2.7.3.jar' in project 'MyMapReduc ...
分类：
其他好文 时间：
2019-12-15 12:59:51
阅读次数：
119
1.1 本地运行器进行本地测试 写一个MapReduce驱动程序，执行job，实现tool接口，所以可以通过hadoop的命令行去设置为本地运行模式。实现tool的run函数，在run函数中创建job执行任务，输出结果。 1.1.1 本地任务执行器定义 package Temperature; im ...
分类：
其他好文 时间：
2019-12-15 12:37:28
阅读次数：
83
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射 成一张表，并提供类SQL查询功能，底层计算引擎默认为Hadoop的MapReduce（本质是将sql转化成mapreduce程序），可以将引擎更 ...
分类：
其他好文 时间：
2019-12-14 15:25:15
阅读次数：
129
Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。 对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTex ...
分类：
其他好文 时间：
2019-12-14 15:24:37
阅读次数：
160
1. Hive数据倾斜原因key分布不均匀业务数据本身的特性SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Jo ...
分类：
其他好文 时间：
2019-12-14 14:08:06
阅读次数：
92
》》 from django.shortcuts import render # Create your views here. from hdfs.client import Client from django.views import View from hdfs.client import ...
分类：
其他好文 时间：
2019-12-13 19:16:05
阅读次数：
182
错误1： 启动kvm容器报错： # virsh start hadoop-test error: Failed to start domain hadoop-testerror: internal error: process exited while connecting to monitor: ...
分类：
其他好文 时间：
2019-12-13 12:21:20
阅读次数：
293
当需要从Hive等Hadoop集群迁移数据到GaussDB200集群时，因为数据量太大，可能无法导出到本地。此时需要GaussDB200跨集群读取HDFS上的数据，并写入GaussDB200集群。目前GaussDB200只支持跨集群访问FusionInsightHD中的HDFS。前提条件FusionInsightHD和GaussDB200两个集群状态正常并且可以互相通信。远端FusionInsig
分类：
数据库 时间：
2019-12-12 16:34:48
阅读次数：
212
