前言 ： 下面可能用的很多计算的词语，理解是计算不是单单1+1是计算，对于计算机而言，任何的程序执行就是一个计算过程。 1：计算过程区别（关键字：并行计算） 传统的计算方式： 一个文件数据->开始计算（整个文件有多少数据就计算多少，从头到尾）->计算结束 并行计算： 一个文件数据->拆分存储在一个集 ...
分类：
其他好文 时间：
2020-01-09 20:32:38
阅读次数：
71
HBase简介对大数据领域有一定了解的小伙伴对HBase应该不会陌生，HBase是Apache基金会开源的一个分布式非关系型数据库，属于Hadoop的组件。它使用Java编写，需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样，可以运行在廉价硬件上，并可提供数10亿行X数百万列的大数据存储、管理能力，以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigt
分类：
其他好文 时间：
2020-01-09 01:19:12
阅读次数：
108
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的... ...
分类：
其他好文 时间：
2020-01-09 00:58:47
阅读次数：
95
NoSQL 学名（not only sql） 特点： 存储结构与mysql这一种关系型数据库完全不同，nosql存储的是KV形式 nosql有很多产品，都有自己的api和语法，以及业务场景 产品种类： Mongodb redis Hbase hadoop Nosql和sql的区别 应用场景不同，sq ...
分类：
其他好文 时间：
2020-01-08 20:50:29
阅读次数：
99
在 ~/.profile 文件中加入以下指令，创建 PATH：sudo gedit ~/.bashrc1 1sudo gedit ~/.bashrc在 ~/.bashrc 中进行设置，在文件最前面加入如下单独一行export PATH=$PATH:/usr/local/hadoop/sbin:/us... ...
分类：
系统相关 时间：
2020-01-08 20:49:59
阅读次数：
272
Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides ...
分类：
其他好文 时间：
2020-01-08 20:48:59
阅读次数：
77
1、安装datax3.0 http://datax opensource.oss cn hangzhou.aliyuncs.com/datax.tar.gz 2、部署主机 主机：node2 路径：/data1/xinsrv/datax JDK：1.8 Python：2.6 3、下载alihbase ...
分类：
其他好文 时间：
2020-01-08 19:28:15
阅读次数：
142
+ Hadoop常见的端口 + Hadoop生态圈 + Hadoop配置文件以及简单的Hadoop集群搭建 + Hadoop参数调优 + 项目经验之基准测试 + Hadoop宕机 + Hadoop 高可用配置 Hadoop 常见的端口 ? dfs.namenode.http address:5007 ...
分类：
其他好文 时间：
2020-01-08 19:08:08
阅读次数：
91
一、VM虚拟环境搭建（详细讲解）说明：在windos10上使用VmWareWorkstation创建3节点Hadoop虚拟环境创建虚拟机下一步设置虚拟机主机名和介质存放路径设置20G磁盘大小选择“自定义硬件”配置网络模式为NAT模式配置虚拟机启动镜像到这里，使用虚拟机克隆技术配置另外两台slave同理克隆slave2,步骤省略此时windos网络连接里面会出现两张虚拟网卡接下来就是给虚拟机配置IP
分类：
其他好文 时间：
2020-01-08 17:28:21
阅读次数：
120
一、主机规划 3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址： master： 主机名： hadoop2、ip地址： 172.17.0.2 slaver1： 主机名： hadoop3、ip地址： 172.17.0.3 主机名： hadoop4、ip ...
分类：
其他好文 时间：
2020-01-08 14:18:46
阅读次数：
86
