2016年大数据Spark“蘑菇云”行动代码学习之AdClickedStreamingStats模块分析系统背景：用户使用终端设备（IPAD、手机、浏览器）等登录系统，系统采用js脚本发送用户信息和广告点击信息到后台日志，进入flume监控，通过kafka消息中间件传输数据，由SparkStreaming消费后将信息..
分类：
其他好文 时间：
2016-10-12 23:09:37
阅读次数：
162
原文：https://my.oschina.net/infiniteSpace/blog/312890?p=1 http://www.inter12.org/archives/842 ...
分类：
其他好文 时间：
2016-10-12 18:57:01
阅读次数：
197
1、简介Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组..
分类：
其他好文 时间：
2016-10-12 07:13:03
阅读次数：
285
1，安装并成功能运行flume2，安装并成功能运行kafka3，安装并成功能运行zookeeper4，开始整合flume收集的数据，写入kafkaa,修改flume的配置文加：vimflume_kafka.confagent1.sources=r1agent1.sinks=k1agent1.channels=c1#Describe/configurethesourceagent1.sources.r1.type=e..
分类：
Web程序 时间：
2016-10-12 07:10:34
阅读次数：
206
一）安装JDK步骤1：新建路径/usr/Java,并在其下解压jdk-7u71-linux-x64.tar.gz#mkdir-p/usr/java#tar-zxvfjdk-7u71-linux-x64.tar.gz步骤2：添加JDK到系统环境变量#vi/etc/profile新增以下内容：exportJAVA_HOME=/usr/java/jdk1.7.0_71exportPATH=$JAVA_HOME/bin:$PATHexportCL..
分类：
其他好文 时间：
2016-10-11 00:36:21
阅读次数：
382
原文档地址：http://kafka.apache.org/documentation.html 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 ...
分类：
其他好文 时间：
2016-10-10 23:29:00
阅读次数：
184
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本 ...
分类：
Web程序 时间：
2016-10-10 19:35:03
阅读次数：
235
1，tomcat设置jvm参数 设置方法： 在tomcat bin 目录增加配置：setenv.sh #add tomcat pid CATALINA_PID="$CATALINA_BASE/conf/tomcat.pid" #add java opts JAVA_OPTS=" -Djava.awt ...
分类：
其他好文 时间：
2016-10-10 14:19:51
阅读次数：
354
SparkStreaming写数据到Redis参考2篇文章：1、Kafka+SparkStreaming+Redis实时系统实践https://www.iteblog.com/archives/13782、spark-stream访问Redishttp://www.tuicool.com/articles/n6BRzi3
分类：
其他好文 时间：
2016-10-06 22:58:23
阅读次数：
195
