Flume：Flume是一个分布式，可依赖的，用于高效率的收集、聚类、移动大量数据的服务。Flume使用基于流数据的简单而且可扩展的架构。由于拥有可调的依赖机制和许多故障恢复机制，Flume是健壮而且容错的。Flume使用简单的可扩展的数据模型，能够用于在线数据分析。 官网：http://flume ...
分类：
Web程序 时间：
2016-06-23 16:05:34
阅读次数：
172
在脚本 reset2default中看到如下内容： #!/usr/bin/lua local hwm = require "hwm" hwm.myexec("jffs2reset -y")os.exit(0) 不知道 jffs2reset 的功能，百度一下，发现介绍的也很少，在此，自己研究一下。 首 ...
分类：
其他好文 时间：
2016-06-21 19:03:35
阅读次数：
465
本文系微博运维数据平台（DIP）在Flume方面的优化扩展经验总结，在使用Flume FileChannel的场景下将吞吐率由10M/s~20M/s提升至80M/s~90M/s，分为四个部分进行介绍： 应用场景 Flume实例架构 Flume调试及优化扩展 Flume Todo 生产环境部署 1. ...
分类：
Web程序 时间：
2016-06-21 12:16:52
阅读次数：
2259
机器列表：192.168.137.115slave0（agent）
192.168.137.116slave1（agent）
192.168.137.117slave2（agent）
192.168.137.118slave3（collector）
192.168.137.119slave4（collector）在每个机器上创建目录mkdir-p/home/qun/data/flume/logsmkdir-p/home/qun/data/flume/datam..
分类：
Web程序 时间：
2016-06-14 19:44:14
阅读次数：
729
*目的是为了防采集。需要对网站的日志信息，进行一个实时的IP访问监控。1、kafka版本是最新的0.10.0.02、spark版本是1.613、下载对应的spark-streaming-kafka-assembly_2.10-1.6.1.jar放到spark目录下的lib目录下4、利用flume将nginx日志写入到kafka（后续补充）5、编写python..
分类：
Web程序 时间：
2016-06-13 19:28:08
阅读次数：
1223
mouseover和mouseout多次触发原理分析；mouseenter与mouseleave实现分析；判断两个元素是否存在包含关系；compareDocumentPosition介绍；获取兼容性性的relatedTarget；改进mouseover和mouseout使其具备mouseenter与mouseleave效果效果；对改写的代码进行封装等。...
分类：
编程语言 时间：
2016-06-12 10:53:24
阅读次数：
240
关于大数据的实时流处理，AWS提供了传统方案和完全host方案
传统方案是EC2上面部署flume （采集）、kafka（数据转存）、storam（流处理）完全host方案是Kinesis。使用Kinesis还是需要用户通过API来将手机、网站点击、IoT、传感器等各类数据源的数据接入，并允许用户编写Kinesis的Worker来处理...
分类：
其他好文 时间：
2016-06-12 02:57:31
阅读次数：
847
Android乐学成语的实现分析
下面是效果图
目录工程如下：
具体实现以及写的过程中遇到的问题
第一步：建立数据库，像这种比较繁多的数据，可以用execl表格来做，然后Navict可视化工具，导入进去
加载数据数据库到项目中来，在res目录下建立一个raw文件夹，
DBOpenHelper.java
package cn.deu...
分类：
移动开发 时间：
2016-06-06 17:05:04
阅读次数：
331
场景1. flume是什么1.1 背景 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后...
分类：
Web程序 时间：
2016-06-03 19:53:06
阅读次数：
646
Android项目之天气预报 的实现分析
输入要查询的城市名称，点击查询按钮后，依次出现七天的天气情况。出现时有动画效果
二、实现过程
（一）获取天气预报数据
1、首先搞定天气预报数据来源的问题，提高天气预报服务的有很多网站，这些网站一般都会提供比较详细的 API 接口供应用程序调用，以聚合数据为例，其官网为：https://www.juhe.cn/如下图所示：...
分类：
移动开发 时间：
2016-06-03 19:34:18
阅读次数：
353
