SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一就是，SpankStreaming和Stom的计算模型完全不一样，SparkStreaming是基于RDD的，因此需要将一小段时间内的，比如1秒内的数据，收集起来，作为一个RDD.然后再针对这个batch的数据进行处理。而Storm却可以做到每来一条数据，都可以立即进行处理和计算。因此，Sp
分类：
其他好文 时间：
2018-04-28 15:50:42
阅读次数：
289
代写Servlet、代写JSP、代写JavaBean程序作业Servlet+JSP+JavaBean模式适合开发复杂的web应用，在这种模式下，Servlet负责处理用户请求，JSP负责数据收集和显示，JavaBean封装数据操作的相关功能。请以Servlet+JSP+JavaBean模式开发新闻发 ...
分类：
编程语言 时间：
2018-04-25 20:09:26
阅读次数：
206
今年3月份在公司的内部k8s培训会上，开发同事对应用整合进pod提出了几个问题，主要围绕在java应用的日志统一收集、集中存放和javajvm内存监控数据收集相关的点上，本文将介绍使用filebeat实现pod日志的统一收集，集中存放使用集群外的elasticsearch，后续可以加上kibana及模板文件实现更友好的数据展示。一、准备和测试tomcat基础镜像该镜像主要是配置jdk环境变量和to
分类：
其他好文 时间：
2018-04-24 17:42:02
阅读次数：
826
filebeat ELK 数据收集的者，logstash 是数据的传输和过滤者，同时logstash还可以通过过滤关键字，达到告警功能
分类：
其他好文 时间：
2018-04-22 17:21:40
阅读次数：
528
一、简介 perfmon可以用于监视CPU使用率、内存使用率、硬盘读写速度、网络速度等 二、使用方法 1、使用快捷键win+R，打开运行窗口，输入perfmon，回车或点击确定 2、右键单击“性能监视器”--“新建”--“数据收集器集” 3、点击“下一步”，选择保存路径，点击“完成”。 4、打开“数 ...
右键我的电脑，依次点开系统工具-性能-数据收集器集-系统-事件跟踪会话 在右边找到ReadyBoot，右键打开属性，会话框上方选择文件，根据示例文件名的路径找到ReadyBoot.etl文件，复制到你想改的路径下， 接着，会话框选择目录，讲根目录改成你想改的路径，点击保存就好了。（记得要先复制，不然 ...
分类：
Windows程序 时间：
2018-04-06 23:43:02
阅读次数：
1062
服务配置：一主一从,版本都是 5.5 。主库配置了 binlog-do-db binlog-ignore-db 问题复述：运营人员发现，昨天的数据统计不对。数据分析服务查询的是从库的数据。 到tomcat-manager查看数据收集接口的请求次数、失败次数都是正常。说明在主库数据已经收集到了。而从库 ...
分类：
其他好文 时间：
2018-03-08 17:28:28
阅读次数：
195
每个人的行动决策思想来源都是对现实的认识与判断，大数据思维能使我们在决策过程中打破原有思维框架的局限。以数据为基础的决策有两个步骤：利用庞大的数据量对事物作出理解和判断，而后作出行动决策。决策者的价值观会影响行动决策，人们对事物的理解和判断亦受制于自身思维框架的局限。物理学家在分析一个实验时，会很自 ...
分类：
其他好文 时间：
2018-03-05 11:18:43
阅读次数：
114
nmon下载及安装 下载：在服务器的个人目录执行 wget http://mirror.ghettoforge.org/distributions/gf/el/6/gf/x86_64/nmon-14i-1.gf.el6.x86_64.rpm 安装：rpm -ivh nmon-14i-1.gf.el6 ...
分类：
其他好文 时间：
2018-03-01 19:52:11
阅读次数：
175
如今已然是大数据时代，数据正在驱动着业务开发，驱动着运营手段，有了数据的支撑可以对用户进行用户画像，个性化定制，数据可以指明方案设计和决策优化方向，所以互联网产品的开发都是离不开对数据的收集和分析，数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是通过开发爬虫程序，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。
分类：
其他好文 时间：
2018-02-28 15:14:32
阅读次数：
225
