原因：checkpoint文件夹，不为空。 解决：设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。 原因：java堆内存默认20m，数据量大时oom。 解决： export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g - ...
分类：
Web程序 时间：
2019-03-04 17:04:28
阅读次数：
359
OGG-01027（长事务） 示例9-25： WARNING OGG-01027 Long Running Transaction: XID 82.4.242063, Items 0, Extract YX_EXT1, Redo Thread 1, SCN 2379.2132775890 (1021 ...
分类：
其他好文 时间：
2019-03-02 11:03:04
阅读次数：
604
本文由云+社区发表 作者：皮皮熊 概述 Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统。 Apache Flume是Apache基金会的顶级项目。现在有两个代码版本线可以获取:0.9.x和1.x。本文档对应的是1.x版本。 ...
分类：
Web程序 时间：
2019-03-01 12:20:58
阅读次数：
190
Transactions 事务(Transaction)，一般是指要做的或所做的事情。在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。在计算机术语中，事务通常就是指数据库事务。 应用场景: 应用程序需要执行多个操作，包括一个或多个数据库命令 * 其中一个数据库命令失 ...
分类：
Web程序 时间：
2019-02-28 22:43:28
阅读次数：
274
1、新建一个shell脚本，进行执行数据库备份。#!/bin/shfind/usr/local/mysql/bak/-mtime+1-typef-name"*.sql"-execrm-rf{}\;mysqldump-uroot-p123456--all-databases--single-transaction>/usr/local/mysql/bak/"$(d
分类：
系统相关 时间：
2019-02-28 16:49:25
阅读次数：
158
首先介绍一下在flume中常用的一个数据格式，以及使用该格式的优缺点： 从flume写数据到hdfs中的时候，使用二进制格式相对于使用纯文本来说是一种更好的选择，因为大多数二进制格式都有一些方法指明记录中损坏或者不完整等的问题。 二进制记录有助于检测他们并将这些不正确的记录进行忽略，例如flume中 ...
分类：
Web程序 时间：
2019-02-27 01:21:18
阅读次数：
193
传输文件到hadoop，从日志收集服务器 虽然这些scp就能完成，但是，scp怎么保证任务中断，负载均衡，状态查看。。。 flume能帮你做到这些，好强大啊，这个框架 ...
分类：
Web程序 时间：
2019-02-27 01:02:38
阅读次数：
373
func response(from resultObject: Any) throws -> Response { guard let dict = resultObject as? [String: AnyObject], let transaction = PendingTransaction ...
分类：
编程语言 时间：
2019-02-25 12:03:19
阅读次数：
200
一、agent 第一步是定义agent(代理)及agent下的sources、channels、sinks的简称，如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 二、sources 第二步是定义sources(接收数据源)，以下是常见的sourc ...
分类：
Web程序 时间：
2019-02-24 12:11:44
阅读次数：
244
一、Flume概述 Flume是一种分布式、可靠且可用的服务，用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。Flume使用简单的的可扩展数据模型，循环在线分析应用程序。 二、Flume的作用 ...
分类：
Web程序 时间：
2019-02-23 20:42:34
阅读次数：
193
