查spark version:spark-sql --version spark的开源包: apache的dist下载spark-2.4.3-bin-hadoop2.8.tgz 1/ spark要访问s3需要cp /usr/lib/hadoop-current/share/hadoop/tools/ ...
分类：
其他好文 时间：
2020-01-11 11:50:20
阅读次数：
125
NoSQL，Not Only SQL，不仅仅是SQL，泛指非关系型数据库，基于键值对的，不需要经过SQL层的解析，数据之间没有耦合性，性能高。 非关系型数据库细分如下： 键值存储数据库：Redis、Voldemort、Oracle BDB； 列表存储数据库：Cassandra、HBase、Riak； ...
分类：
数据库 时间：
2020-01-11 09:30:11
阅读次数：
108
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# v ...
分类：
其他好文 时间：
2020-01-10 20:16:32
阅读次数：
93
HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能 1.开启快照支持功能，在0 ...
分类：
其他好文 时间：
2020-01-10 16:00:21
阅读次数：
136
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库... ...
分类：
编程语言 时间：
2020-01-10 15:52:31
阅读次数：
91
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库... ...
分类：
编程语言 时间：
2020-01-10 15:51:45
阅读次数：
76
1空白处单击打开 shanghai hadoop 123456 root 123456 Hadoop hive 配置网络： 编辑 虚拟网络编辑器 nat模式 nat设置 网关ip # cd /etc/sysconfig/network-scripts/ #vi ifcfg-ens33 #servic ...
分类：
其他好文 时间：
2020-01-10 12:48:35
阅读次数：
75
1、hadoop 大数据框架 Hadoop 是一个应用Java语言实现的软件框架，廉价的计算机组成的集群运行海量数据的分布式并行计算框架，支持上千个节点和PB级别的数据。Hadoop是项目的总称 分布式： 大数据： 指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合。 1024MB= ...
分类：
其他好文 时间：
2020-01-10 12:33:49
阅读次数：
80
本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！ ...
分类：
Web程序 时间：
2020-01-10 01:08:26
阅读次数：
133
https://hbase.apache.org/devapidocs/org/apache/hadoop/hbase/util/MurmurHash.html https://github.com/spaolacci/murmur3https://github.com/google/guava/b ...
