Kafka基于Zookeeper协调的分布式日志系统，可以当做MQ。主要就是做：日志收集系统、消息系统。还有就是用于用户活动跟踪：记录web用户或者app用户的各种活动，相信大家都感受到了吧。上篇我们已经提到，消息系统的两种传递模式：点对点、订阅/发布。这里将不再赘述。【对比】名称Column2RabbitMQ使用Erlang编写的一个开源的消息队列，适合企业级的开发，同时实现了Broker构架，
分类：
其他好文 时间：
2020-05-08 09:42:36
阅读次数：
66
将jar包放置服务器运行 1.环境配置 + 在/etc/profile中配置 + 在hadoop env.sh配置,==在for循环后面添加== 直接在开发平台运行，连接到HBase服务端（以IDEA为例） 1.环境配置，添加hbase site.xml，将远程的hbase site.xml文件内容 ...
分类：
其他好文 时间：
2020-05-07 22:58:36
阅读次数：
83
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务， 原文链接：https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类：
其他好文 时间：
2020-05-07 19:48:36
阅读次数：
124
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2020-05-07 09:17:48
阅读次数：
76
1.将下载的hadoop的jar包解压到自己想要存放的目录下，然后再hadoop的根目录下复制它的完整路径 2.配置环境变量，创建一个系统变量“HADOOP_HOME”，变量值就是hadoop的路径 3.将这个变量添加到Path变量中： 4.保存后退出 5.打开cmd命令行窗口，输出命令“hadoo ...
这是来自知乎的问题，是一个大二学生问的，说老师在讲课时说，从工资来看，后端开发要比前端高，并且说，掌握公司核心技术的都是后端。他问事实是否真的如此，然后问该如何规划自己的工作。 这里整理的是个匿名答案，答主应该是在网易工作过，后来去了阿里。答案很有参考意义，特此整理出来（原回答的大小写有部分错误，未 ...
分类：
其他好文 时间：
2020-05-05 20:03:21
阅读次数：
102
1、Linux基础环境配置：CentOS7安装、配置 1.1、虚拟机安装Linux操作系统 A）Linux操作系统版本：CentOS 7 x86_64 DVD 1908.iso B）虚拟机安装CentOS配置：内存：1G，CPU：1，硬盘：40G C）网络：桥接 1.2、CentOS网络配置 A）C ...
分类：
其他好文 时间：
2020-05-05 19:43:47
阅读次数：
58
文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量 ...
分类：
其他好文 时间：
2020-05-05 18:09:27
阅读次数：
70
FileUtilsDelete.java // 删除文件和文件夹 package com.imooc.bigdata.hadoop.mr.wc; import java.io.File; public class FileUtilsDelete { /** * 删除文件，可以是文件或文件夹 * * ...
分类：
编程语言 时间：
2020-05-05 10:56:33
阅读次数：
68
1、下载安装包elasticsearch oss 7.6.2 linux x86_64.tar.gz到hadoop1 "elasticsearch oss 7.6.2 linux x86_64.tar.gz" 2、远程传输到hadoop2、hadoop3节点 scp r elasticsearch ...
分类：
其他好文 时间：
2020-05-05 10:46:38
阅读次数：
110
