1、前言 从druid的0.11版本开始，我就开始关注它，每一次的版本的更新，druid都会使用户体验、性能更好，从以前手写配置文件到可视化的界面操作，从实时节点进行任务提交到现在的索引服务等 流处理： 日志监控（Flume/Airflow） > 消息中间件（kafka、MQ） > 流处理（spar ...
分类：
Web程序 时间：
2019-10-11 18:03:32
阅读次数：
122
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 HQL 转换 MR 流程： Hive 处理的数据存储在 ...
分类：
其他好文 时间：
2019-10-04 22:31:39
阅读次数：
120
参见 HDP2.4安装(五)：集群及组件安装 ，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。 目录： Spark集群安装 参数配置 测试验证 Spark集群安装： 在ambari ...
分类：
其他好文 时间：
2019-10-02 01:00:23
阅读次数：
123
主要内容 spark部署 前提 zookeeper正常使用 JAVA_HOME环境变量 HADOOP_HOME环境变量 安装包 "微云下载 | tar包目录下" Spark2.4.4 一、环境准备 上传到docker镜像 解压 二、配置文件 spark env.sh slaves spark def ...
分类：
其他好文 时间：
2019-09-30 12:23:53
阅读次数：
88
一、串联 Flume Agent 连接 这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。 ...
分类：
Web程序 时间：
2019-09-25 00:59:53
阅读次数：
171
如标题，最近我由于想初始化以下hadoop集群，之后却发现启动集群后所有的DataNode都消失了。 问题查找： 由于时所有的DataNode都出了问题，于是我翻找了以下DataNode的日志（默认在安装下的logs文件里）： 看出来可能是因为namenode的clusterID与datanode的 ...
分类：
其他好文 时间：
2019-09-21 23:17:49
阅读次数：
106
大数据时代背景简介： 最早提出大数据时代到来的是全球知名咨询公司麦肯锡， 大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日， 却因为近年来互联网和信息行业的发展而引起人们关注。 大数据作为云计算、互联网之后又IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管 ...
分类：
其他好文 时间：
2019-09-21 21:38:32
阅读次数：
131
MapReduce计算流程 MapReduce计算流程 1 首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交 2 一个MR程序就是一个Job，Job信息会给Resourcemanger，向Resourcemanger注册信息 3 在注册通过后，Job会拷贝相关的资源信息（从HDF ...
分类：
其他好文 时间：
2019-09-21 15:26:11
阅读次数：
96
1、进入spark-shell窗口 2、 3、 hdfs://cdp是defaultFS，也可以不写，如下: 4、 参考:https://www.jianshu.com/p/57b20d9d7b4a?utm_campaign=maleskine&utm_content=note&utm_medium ...
分类：
系统相关 时间：
2019-09-21 14:52:27
阅读次数：
234
首先查看hadoop进程。 jps 说明只有一个进程，hadoop没启动 启动hadoop进程 start-dfs.sh start-yarn.sh 出现如下进程说明hadoop启动成功 在如下目录创建一个data.txt文件 里面随便输入一些英文字符。就像我刚才输入的一样 进入hadoop目录 . ...
分类：
其他好文 时间：
2019-09-18 23:20:35
阅读次数：
89
