Sqoop 简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可 ...
分类：
Web程序 时间：
2020-02-18 12:47:15
阅读次数：
149
RocketMQ整理 概念 broker MQ服务节点 topic 主题 message queue 消息队列，类似于kafka中的partition producer 生产者，先去连接name server，查询到对应的broker信息，再去连接broker consumer 消费者，先去连接na ...
分类：
其他好文 时间：
2020-02-17 20:08:08
阅读次数：
85
本文源码：GitHub·点这里||GitEE·点这里一、搭建Kafka环境1、下载解压--下载wgethttp://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz--解压tar-zxvfkafka_2.11-2.2.0.tgz--重命名mvkafka_2.11-2.2.0kafka2.112、启动Kafka服务kafka依赖Zoo
分类：
编程语言 时间：
2020-02-17 15:52:31
阅读次数：
78
1. Flume介绍 1.1 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.2 系统功能 1 ...
分类：
Web程序 时间：
2020-02-17 15:40:44
阅读次数：
95
起源 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafk ...
分类：
其他好文 时间：
2020-02-17 14:03:42
阅读次数：
83
Go语言介绍 为什么你应该学习Go语言？ 开发环境准备 从零开始搭建Go语言开发环境 VS Code配置Go语言开发环境 Go语言基础 Go语言基础之变量和常量 Go语言基础之基本数据类型 Go语言基础之运算符 Go语言基础之流程控制 Go语言基础之数组 Go语言基础之切片 Go语言基础之map G ...
分类：
编程语言 时间：
2020-02-15 20:28:55
阅读次数：
78
消息队列的基本原理 消息队列是基于队列实现的，存储具有特定格式的消息数据。消息队列包括生产者，消息队列以及消费者。 RocketMQ的原理与工作机制 架构图 NameServer Cluster：名字服务器集群，类似于kafka中的zookeeper，提供分布式协调与管理的功能 Producer C ...
分类：
其他好文 时间：
2020-02-15 11:46:33
阅读次数：
63
1、定义 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2、架构图 3、常见概念理解 ①client：客户端，运行agent的地方，每台机器只运行一个agent ...
分类：
Web程序 时间：
2020-02-14 11:00:40
阅读次数：
89
电脑修好了，但之前落下的几天博客确实没啥补的劲头，今天先写一份报告吧。 实验内容和要求 安装 Flume 安装成功。 使用 Avro 数据源测试 Flume 配置文件 启动flume agent a1 创建指定的日志文件 客户端传输 传输完成 使用 netcat 数据源测试 Flume 创建exam ...
分类：
其他好文 时间：
2020-02-13 22:48:41
阅读次数：
83
1、将文件解压到/usr/local [root@localhost src]# tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/ 2、创建flume-env.sh文件，并设置jdk路径 [root@localhost local]# cp ...
分类：
Web程序 时间：
2020-02-13 15:09:49
阅读次数：
105
