Spark写HBase 要通过Spark向 HBase 写入数据，我们需要用到PairRDDFunctions.saveAsHadoopDataset的方式。 package cn.com.win import org.apache.hadoop.hbase.HBaseConfiguration i ...
分类：
其他好文 时间：
2020-02-08 00:03:34
阅读次数：
53
官方文档：https://hadoop.apache.org/docs/stable/，目前官方已经是3.x，但yarn机制没有太大变化 一、简介 在Hadoop1.0中，没有yarn，所有的任务调度和资源管理都是MapReduce自己来做，所以在Hadoop1.0中，最核心的节点是JobTrack ...
分类：
其他好文 时间：
2020-02-07 16:24:04
阅读次数：
62
大数据的入门基础首先是hadoop,虽然很多年了，依然是宝刀未老，按网络的部署文章安装了一下，从版本多次选型，配置文件更改，bin目录覆盖，到运行中处理data文件的启动加载数据，不少坑爬，但是最后还是收获蛮大，开源软件就是有开源精神，Tomcat如果安装过，基本上也是大同小异，但是个人感觉还是要除 ...
分类：
系统相关 时间：
2020-02-07 01:34:14
阅读次数：
91
Hadoop是什么？ 1. Hadoop是由Apache基金会所开发的分布式系统基础架构 2. 主要解决，海量数据的存储和海量数据的分析计算问题 3. 广义上来说，Hadoop通常是指一个更广泛的概念— Hadoop生态圈 Hadoop发展历史 1. Lucene框架是Doug Cutting开创的 ...
分类：
其他好文 时间：
2020-02-07 01:25:12
阅读次数：
79
1.hadoop集群的启动 cd $HADOOP_HOME //进入hadoop安装目录 sbin/start-dfs.sh //启动hdfs sbin/start-yarn.sh //启动yarn （或start-all.sh） 集群关闭： cd $HADOOP_HOME //进入hadoop安装 ...
分类：
系统相关 时间：
2020-02-07 00:58:00
阅读次数：
114
1、使用 Hadoop 提供的 Shell 命令完成如下操作 （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop” 其中遇到的问题： 解决方法： （2） 在 Linux 系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件 ...
分类：
其他好文 时间：
2020-02-06 23:29:09
阅读次数：
154
本次记录是用于：SparkStreaming对接Kafka、HBase记录 一、简介 ①HBase本身是一个菲关系型数据库，存储数据结构时以key-value结构来进行存储，HBase中的数据是稀疏的。 ②基于Hadoop运行，但是HBase的效率在秒级别 ③基于列存储：传统行存储方式在查询特定列时 ...
分类：
其他好文 时间：
2020-02-06 16:53:41
阅读次数：
101
sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，最后通过web+echart来进行图表展示，更加直观的展示数据指标。 sqoop基础 基 ...
分类：
其他好文 时间：
2020-02-06 16:40:10
阅读次数：
80
本次部署haddoop集群三台hostname:HBASE01 HBASE02 HBASE03 192.168.240.129 HBASE01 192.168.240.130 HBASE02 192.168.240.131 HBASE03 将HBASE01 HBASE02作为namenode节点，H ...
分类：
其他好文 时间：
2020-02-06 14:24:12
阅读次数：
69
在Windows系统和Linux系统之间互传文件 本教程大量实验都是在Linux虚拟机上完成，因此，需要掌握如何把Windows系统中 的文件上传到Linux系统，以及如何把Linux系统中的文件下载到Windows系统中。 首先，到本教程官网的“下载专区”中的“软件”目录中，下载FTP软件File ...
分类：
其他好文 时间：
2020-02-06 12:32:32
阅读次数：
146
