hadoop第一课：虚拟机搭建和安装hadoop及启动 hadoop第二课：hdfs集群集中管理和hadoop文件操作 hadoop第三课：java开发hdfs hadoop第四课：Yarn和Map/Reduce配置启动和原理讲解 hadoop第五课：java开发Map/Reduce ...
分类：
其他好文 时间：
2020-04-26 09:15:01
阅读次数：
50
配置 Hadoop 伪分布式 任务配置说明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2.6.0-cdh5.14.0.tar.gz 第一步 自行安装虚拟机 第二步 开始大配置 修改主机名和用户名 vim /etc/sysconfig/network --( ...
分类：
其他好文 时间：
2020-04-26 01:41:23
阅读次数：
69
1.修改hbase env.sh文件 2.修改hbase site.xml文件 3.在conf文件夹中创建hadoop配置文件的软链接 4.分发配置 5.启动RegionServer、Master，只能在指定master节点启动master服务（与Yarn中ResourceManager类似） == ...
分类：
其他好文 时间：
2020-04-26 01:22:24
阅读次数：
78
1、Hadoop概述 1.1 Hadoop是什么 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台 1.2 核心组件 分布式存储系统 HDFS（Hadoop Distributed File System），提供了高可靠性、高扩展性和高吞吐 ...
分类：
其他好文 时间：
2020-04-25 19:07:28
阅读次数：
107
1.首先在hive中建表（尽量与mysql字段对应） 2. 将mysql中的表导出 txt格式 3.通过hadoop 上传到HDFS上 命令 hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt /user/hive/external ...
分类：
数据库 时间：
2020-04-24 18:41:58
阅读次数：
109
35.并行和并发有什么区别？ 1.并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 2.并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 3.在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的 ...
分类：
编程语言 时间：
2020-04-24 14:32:30
阅读次数：
67
Hadoop的官方案例都在mapreduce.jar文件夹中，提供了mapreduce的基本功能，可用于计算，eg:pi值，计算文档中的字数等 官方案例都在 hadoop-mapreduce-examples-2.7.3.jar 这个jar包中。 命令：hadoop jar ./hadoop-2.7 ...
分类：
其他好文 时间：
2020-04-24 01:40:56
阅读次数：
107
1. 下载wordcount jar 文件 下载文件夹放置你的目录： https://github.com/yjy24/bigdata_learning/blob/master/hadoopMapRedSimple.zip 2. 启动 hadoop 管理员身份运行window cmd： 启动 Had ...
大概的流程具体如下： 1、修改主机名 2、关闭防火墙 3、安装JDK并配置环境变量 4、安装Hadoop并配置环境变量 上面每个流程的具体操作如下： 一、修改主机名 1、修改主机名 根目录下输入如下代码： vim etc/hostname 然后把当前的主机名改掉，我改成了hadoop 2、修改lin ...
分类：
其他好文 时间：
2020-04-23 19:08:09
阅读次数：
57
为避免因自然灾害等意外情况而导致的本地数据丢失情况，异地数据容灾也是企业数据保护的一大常见命题。Ucahe备份呢支持通过远程复制技术，将本地数据同步到异地，实现异地数据保护。一站式的web管理,支持增量,差异,永久,定时,多副本等30多项功能列表，8项灾备技术，3款产品，满足企业不同场景的数据备份需求，帮助企业实现小时级、分钟级、秒级RTO/RPO目标，高效率，低成本，操作简单，Ucahe采用首次
分类：
其他好文 时间：
2020-04-23 16:20:09
阅读次数：
85
