下载flume： 1.官方网站下载： http://flume.apache.org/download.html 2.百度网盘资源: apache-flume-1.9.0-bin.tar 链接：https://pan.baidu.com/s/1gzTOfiSkvY3nsXap8kj6-Q 提取码：e ...
分类：
Web程序 时间：
2019-06-28 23:02:19
阅读次数：
189
题目描述： 输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字中最小的一个。例如输入数组{3，32，321}，则打印出这三个数字能排成的最小数字为321323。 思路分析： 正常的思路是用一个全排列，那么复杂度为O(n!)。 这里实际要考察的是一个排序的方式。试想对于每两 ...
分类：
编程语言 时间：
2019-06-28 00:24:15
阅读次数：
152
1.6、flume案例一 1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的 ...
分类：
Web程序 时间：
2019-06-25 11:52:54
阅读次数：
229
收集hive的log hive的运行日志： /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log* memory*hdfs /user/flume/hive-log 1.需要四个包： 传到/home/hadoop/CDH5.3.6/flume ...
分类：
Web程序 时间：
2019-06-23 20:43:26
阅读次数：
119
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple ...
分类：
Web程序 时间：
2019-06-23 17:21:02
阅读次数：
191
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。 同Spark初始化需要创建 ...
分类：
其他好文 时间：
2019-06-21 12:55:32
阅读次数：
92
数据发生器产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） Flume 运行的核心是 Agent。Flu ...
分类：
其他好文 时间：
2019-06-21 12:42:20
阅读次数：
107
package com.qf.work; /** * 张三和妻子各拥有一张银行卡和存折，可以对同一个银行账户进行存取款的操作，请使用多线程及同步方法模拟张三和妻子同时取款的过程。 要求使用同步方法和同步代码块两种方式实现 分析 定义Account类表示银行帐户 定义两个线程分别实现张三和妻子取款的操... ...
分类：
编程语言 时间：
2019-06-11 20:59:10
阅读次数：
219
flume 1.x开始 输入数据的读取与输出数据的写入在由 不同的工作线程（称为运行器）来处理了。 在flume 0.9中，输入线程也执行对输出的写入（故障恢复重试除外）。 输出写入器很慢（而不仅仅是完全失败），那么它会阻塞Flume 接收数据的能力。 这种新的异步设计使得输入线程完全意识不到任何下 ...
分类：
编程语言 时间：
2019-06-05 00:42:27
阅读次数：
96
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
