一、简介Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方的能力。Flume在0.9.xand1.x之间有较大的架构调整，1.x版本之后的改称FlumeNG(nextgeneration)，0.9.x的称..
分类：
Web程序 时间：
2017-03-15 19:25:53
阅读次数：
188
Flume介绍 http://flume.apache.org/FlumeUserGuide.html 一、Flume架构图 <!--more--> 含义 Source 规定收集数据的来源 Channel 相当于一个管道，连接source和sink Sink flume agent收集到数据后，数据 ...
分类：
Web程序 时间：
2017-03-12 16:44:36
阅读次数：
215
收集一下能够避免背压的运算符 sample(500, TimeUnit.MILLISECONDS) 定期收集数据，并发送最后一个 throttleFirst(500,TimeUnit.MILLISECONDS) 定期收集数据，发送第一个数据 debounce(500,TimeUnit.MILLISE ...
分类：
编程语言 时间：
2017-01-24 17:49:13
阅读次数：
172
基本流程： 数据收集、数据建模、构建数据画像、风险定价。 数据收集：网络行为数据、企业服务范围内行为数据、用户内容偏好数据、用户交易数据、授权数据源、第三方数据源、合作方数据源、公开数据源。 数据建模：文本挖掘、自然语言处理、机器学习、预测算法、聚类算法。 数据画像：基本属性、购买能力、行为特征、兴 ...
分类：
其他好文 时间：
2017-01-22 22:40:47
阅读次数：
235
服务器作用不就是发送和收集数据，这个数据无非分为两类，一类是业务数据，主要是为维持业务运行数据，比如一个游戏服务器，业务数据有装备信息，用户等级信息，装备爆率等等。另一类数据就是日志信息，这个数据非必要数据，但是这个数据可以分析用户行为，可以进一步的帮助我..
分类：
其他好文 时间：
2017-01-12 13:39:30
阅读次数：
5890
一、外部数据源《集团内部数据》客户信息产品信息供应商信息《第三方数据》公众号信息BAT数据电信数据营销知识库ERPAppAPI 二、数据采集数据实时采集器（外部数据进入）从调查、第一步、第二部、。。。成交。。。会员经营等阶段收集数据 三、大数据存储精准投放跟进提醒资源配置项目联动客户经营交易分析 四 ...
分类：
其他好文 时间：
2017-01-06 00:58:23
阅读次数：
229
一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大） 二、负责存储数据的工具：HBaseMongoDBCassandraAccumulo MySqlOracleDB2 HDFS（Hadoop Di ...
分类：
其他好文 时间：
2017-01-06 00:07:46
阅读次数：
343
简介 在MySQL服务器出现短暂(5~30秒)的性能波动的时候，一般的性能监控工具都很难抓住故障现场，也就很难收集对应较细粒度的诊断信息。另外，如果这种波动出现的频率很低，例如几天才一次，我们也很难人为的抓住现场，收集数据。这正是pt-stalk所解决的问题。 参数 –function：设置触发条件 ...
分类：
数据库 时间：
2016-12-29 14:34:46
阅读次数：
286
方法一:struts2对ModelDriven模式的支持(模型驱动模式) Struts2可以采用类似于Struts1中的ActionForm方式收集数据，这样方式叫ModelDriven模式 Action需要实现ModelDriven接口,实现getModel()方法,返回Bean对象,这样stru ...
分类：
其他好文 时间：
2016-12-24 22:40:15
阅读次数：
139
