1.Hadoop的整体框架 Hadoop是由许多元素构成的，最核心的是HDFS（分布式文件系统），它存储了Hadoop集群中所有DataNode文件，HDFS的上一层是MapReduce引擎，MapReduce是一种计算模型，用以进行大数据量的计算。 HDFS HDFS是Hadoop项目的核心子项目 ...
分类：
其他好文 时间：
2020-04-27 13:27:50
阅读次数：
70
package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.h ...
分类：
其他好文 时间：
2020-04-27 09:35:22
阅读次数：
59
// hadoop+spark二次排序代码 package com.swust.hadoop; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spa ...
分类：
其他好文 时间：
2020-04-26 16:43:00
阅读次数：
64
集群中时间不同步有可能会让大数据的应用程序运行混乱，造成不可预知的问题，比如Hbase、mongodb副本集等，Hbase当时间差别过大时就会挂掉，mongodb如果副本时间过快，会出现时间栈帧溢出提前出发选举等，所以在大数据集群中，ntp服务，应该作为一种基础的服务，以下在演示在CentOS 7. ...
分类：
系统相关 时间：
2020-04-26 13:47:38
阅读次数：
201
HBase作为一个分布式存储的数据库，它是如何保证可用性的呢？对于分布式系统的CAP问题，它是如何权衡的呢？ 最重要的是，我们在生产实践中，又应该如何保证HBase服务的高可用呢？ 下面我们来仔细分析一下。 1. 什么是分布式系统的CAP？ CAP是指一致性（Consistency）、可用性（Ava ...
分类：
其他好文 时间：
2020-04-26 10:59:28
阅读次数：
63
hadoop第一课：虚拟机搭建和安装hadoop及启动 hadoop第二课：hdfs集群集中管理和hadoop文件操作 hadoop第三课：java开发hdfs hadoop第四课：Yarn和Map/Reduce配置启动和原理讲解 hadoop第五课：java开发Map/Reduce ...
分类：
其他好文 时间：
2020-04-26 09:15:01
阅读次数：
50
配置 Hadoop 伪分布式 任务配置说明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2.6.0-cdh5.14.0.tar.gz 第一步 自行安装虚拟机 第二步 开始大配置 修改主机名和用户名 vim /etc/sysconfig/network --( ...
分类：
其他好文 时间：
2020-04-26 01:41:23
阅读次数：
69
1.修改hbase env.sh文件 2.修改hbase site.xml文件 3.在conf文件夹中创建hadoop配置文件的软链接 4.分发配置 5.启动RegionServer、Master，只能在指定master节点启动master服务（与Yarn中ResourceManager类似） == ...
分类：
其他好文 时间：
2020-04-26 01:22:24
阅读次数：
78
1、Hadoop概述 1.1 Hadoop是什么 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台 1.2 核心组件 分布式存储系统 HDFS（Hadoop Distributed File System），提供了高可靠性、高扩展性和高吞吐 ...
分类：
其他好文 时间：
2020-04-25 19:07:28
阅读次数：
107
1.首先在hive中建表（尽量与mysql字段对应） 2. 将mysql中的表导出 txt格式 3.通过hadoop 上传到HDFS上 命令 hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external ...
分类：
数据库 时间：
2020-04-24 18:41:58
阅读次数：
109
