应用场景：2015年春节期间，A公司的支付软件某宝和T公司某信红包大乱战。春节高峰以后，公司Leader要求后台攻城狮对后台的海量的数据进行分析。先要求分析出各地区发红包最多的前100位用户。现在知道人最多的S地区大约有100W用户，要求写一个算法实现。 分析：看到这里，问题可以简化为求很多个数据中 ...
分类：
其他好文 时间：
2016-10-12 10:42:37
阅读次数：
127
1，安装并成功能运行flume2，安装并成功能运行kafka3，安装并成功能运行zookeeper4，开始整合flume收集的数据，写入kafkaa,修改flume的配置文加：vimflume_kafka.confagent1.sources=r1agent1.sinks=k1agent1.channels=c1#Describe/configurethesourceagent1.sources.r1.type=e..
分类：
Web程序 时间：
2016-10-12 07:10:34
阅读次数：
206
一、什么是Flume?flume作为cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG（originalgeneration），属于cloudera。但随着FLume功能的扩展，FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤..
分类：
Web程序 时间：
2016-10-11 00:09:50
阅读次数：
374
Timing Analyzer 综述 使用该软件可以在设计中完成以下一些任务：在设计中进行静态时序分析；在映射、布局、布线后都可以立即进行时序分析；可通过GUI/tcl命令行/xtclsh应用/批处理/微控制命令等实现分析；报告指定路径延迟、关键路径延时、电路运行周期、可靠速度/电压/温度等的分布信 ...
分类：
其他好文 时间：
2016-10-10 23:50:08
阅读次数：
931
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本 ...
分类：
Web程序 时间：
2016-10-10 19:35:03
阅读次数：
235
前言 如今，在 Java 开发中，日志的打印输出是必不可少的， 关于 有了日志之后，我们就可以追踪各种线上问题。但是，在分布式系统中，各种无关日志穿行其中，导致我们可能无法直接定位整个操作流程。因此，我们可能需要对一个用户的操作流程进行归类标记，比如使用 因此，这就有了 Slf4j MDC 介绍 M ...
分类：
其他好文 时间：
2016-10-08 16:47:01
阅读次数：
4022
在我写这篇文章的时候，其实我还是挺纠结的，因为我这个方案本身也是雕虫小技拿出来显眼肯定会被贻笑大方，但是我最终还是拿出来与大家分享，我本着学习的态度和精神，希望大家能够给与我指导和改进方案。
一、...
分类：
其他好文 时间：
2016-10-02 17:36:26
阅读次数：
183
王家林老师的课程：2016年大数据Spark“蘑菇云”行动之sparkstreaming消费flume采集的kafka数据Directf方式作业。一、基本背景Spark-Streaming获取kafka数据的两种方式Receiver与Direct的方式，本文介绍Direct的方式。具体的流程是这样的：1、Direct方式是直接连接到kafka的节..
分类：
Web程序 时间：
2016-10-02 07:20:52
阅读次数：
261
近期，听了王家林老师的2016年大数据Spark“蘑菇云”行动，需要将flume，kafka和Sparkstreaming进行整合。感觉一时难以上手，还是先从简单着手吧：我的思路是这样的，flume产生数据，然后输出到sparkstreaming，flume的源数据是netcat（地址：localhost，端口22222），输出是av..
分类：
Web程序 时间：
2016-10-01 06:31:51
阅读次数：
209
