下载路径 Hadoop所有版本：http://archive.apache.org/dist/hadoop/common/ ...
分类：
其他好文 时间：
2020-02-24 16:55:48
阅读次数：
51
官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。上面的解释有点抽象，简单来说zookeeper=文件系统+监听通知机制 ...
分类：
其他好文 时间：
2020-02-24 11:19:04
阅读次数：
71
承接上文：Hadoop基础 流量求和MapReduce程序及自定义数据类型 一：实验数据 对上一篇文章中的数据进行排序处理： 13480253104 180 200 380 13502468823 102 7335 7437 13560439658 5892 400 6292 13600217502 ...
分类：
编程语言 时间：
2020-02-23 20:01:26
阅读次数：
85
Hadoop HA架构搭建 共七台服务器，节点角色分配如下： 192.168.133.21 （BFLN-01）：namenode zookeeper journalnadeDFSZKFailoverController192.168.133.23 （BFLN-02）：namenoderesource... ...
分类：
其他好文 时间：
2020-02-23 18:36:02
阅读次数：
91
hadoop+spark集群搭建 本次实验环境：两台hadoop+两台spark组成集群 环境准备： 1. 两个主机实现ssh无密钥认证，包括本机与本机的免密钥认证: ssh-keygren ：生成一对密钥 ssh-copy-id : 把公钥发给对方服务器 2. 集群间需实现时间同步：... ...
分类：
其他好文 时间：
2020-02-23 18:34:33
阅读次数：
90
近来无事恰逢找实习，了解一下Nginx，实践一下，于是又操起了老本行，之前本科毕设装的双系统也用不上了，故删掉，把空间都匀给G盘（学习资料，用驱动精灵），打开虚拟机，新建了一个CentOS7虚拟机，下了个Xshell，打算依样画葫芦。 想起本科的时候就搞过这事，当时想进实验室跟着老师做hadoop，... ...
分类：
系统相关 时间：
2020-02-23 18:31:02
阅读次数：
107
技术点：springcloud + kafka + hbase + mogodb 1、建立实体对象 浏览商品行为 ScanProductLog 收藏商品行为 CollectProductLog 购物车行为 BuyCartProductLog 关注商品行为 AttentionProductLog 2、 ...
分类：
其他好文 时间：
2020-02-23 14:57:19
阅读次数：
95
序言 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。 MapReduce产生背景 如果让你统计日志里面的出现的某个URL的总次数，让你自己去写个单机版的程序，写个逻辑：无非就是读这个文件一行,然后把那个 ...
分类：
其他好文 时间：
2020-02-23 11:52:43
阅读次数：
68
一、HDFS的简介及优缺点 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS ...
分类：
其他好文 时间：
2020-02-23 11:48:58
阅读次数：
77
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类：
其他好文 时间：
2020-02-23 11:38:34
阅读次数：
61
