一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
###kafka伪分布式的安装 注意：kafka_2.11-0.10.0.1.tgz 2.11表示scala版本,0.10.0.1才是kafka版本 ##环境 192.168.50.246 node01 192.168.50.247 node02 192.168.50.248 node03 [roo... ...
分类：
其他好文 时间：
2019-12-31 14:07:29
阅读次数：
97
一. 简介 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。拥有丰富的支持主流语言的客户端，C、C++、Python、Erlang、R、C#、Java、PHP、Objective-C、Perl、Ruby、Scala、Go、JavaScript。 ...
分类：
其他好文 时间：
2019-12-30 14:44:53
阅读次数：
94
一.scala基础 1.数据基础 2.变量和常量的声明 var 定义的是变量可以修改val 定义的是常量不可以修改 package com.shsxt.scala?/** * @author: Savage * @data: 2019/10/21 19:50 */object Text {? cla ...
分类：
其他好文 时间：
2019-12-30 14:31:47
阅读次数：
110
一.示例 1.统计PV和UV 1.1统计PV val conf = new SparkConf() conf.setMaster("local").setAppName("pvuv") val sc = new SparkContext(conf) val lineRDD = sc.textFile ...
分类：
其他好文 时间：
2019-12-30 14:16:01
阅读次数：
89
一.简介 1.什么是spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduc ...
分类：
其他好文 时间：
2019-12-30 14:10:45
阅读次数：
100
本文从数据倾斜的危害、现象、原因等方面，由浅入深阐述Spark数据倾斜及其解决方案。 ...
分类：
其他好文 时间：
2019-12-30 11:24:02
阅读次数：
99
Kafka是一款由linkedln（领英）公司开发，并由Apache基金会开源的中间件。
Kafka由Scala和Java写成，主要负责分布式消息订阅，它可以处理生产者和消费者之间的动作流，作为消息队列为业界所使用。 ...
分类：
其他好文 时间：
2019-12-30 09:34:45
阅读次数：
103
1.到官网下载scala源代码 点击如下链接下载源码：http://www.scala-lang.org/download/all.html 选择需要的版本点击进行下载，我选择的是2.11.8版本，如下图： 2.在idea中设置指向源代码 在intellij中选择 File –> Project S ...
分类：
其他好文 时间：
2019-12-30 09:28:36
阅读次数：
114
学习大数据需要的基础1、javaSE、EE（SSM）90%的大数据框架都是Java写的2、MySQLSQLonHadoop3、Linux大数据的框架安装在Linux操作系统上需要学什么.在入门学习大数据的过程当中有遇见学习，行业，缺乏系统学习路线，系统学习规划，欢迎你加入我的大数据学习交流裙：251956502，裙文件有我这几年整理的大数据学习手册，开发工具，PDF文档书籍，你可以自行下载。大数据
分类：
其他好文 时间：
2019-12-30 00:04:32
阅读次数：
102
