一. 三层结构: 1. 用户视图层 : 负责与用户交互 (展示数据,收集数据) 2. 业务逻辑层 : 负责对用户传入的数据, 进行 验证, 判断, 组装 3. 数据访问层 : 负责将业务逻辑层输出后的数据进行持久化存储 二 . 异常处理: 1. 什么是异常: 异常,字面意思就是非常规情况,平时我们看 ...
分类：
编程语言 时间：
2018-11-01 22:27:41
阅读次数：
239
Python日志产生器 写在前面 有的时候，可能就是我们做实时数据收集的时候，会有一个头疼的问题就是，你会发现，你可能一下子，没有日志的数据源。所以，我们可以简单使用python脚本来实现产生实时的数据，这样就很方便了 在编写代码之前，我们得知道我们的webserver日志到底长什么样，下面我找了一 ...
分类：
编程语言 时间：
2018-10-31 15:50:40
阅读次数：
181
Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据的 ...
分类：
Web程序 时间：
2018-10-31 15:49:53
阅读次数：
526
场景用户画像的构造中，想象一个场景：你经过辛辛苦苦抓数据，清洗数据，收集用户行为，目的就是给用户计算兴趣标签。 这时候你可能会遇到一个两难的问题：如果给用户计算出兴趣标签的权重了，那应该保留多少标签呢？保留太多的话，每次召回候选集时，计算复杂度可不低，只保留少部分吧，那真是手心手背都是肉，生怕丢弃的 ...
分类：
编程语言 时间：
2018-10-21 16:06:01
阅读次数：
162
对于企业来说，100条理论确实不如一个成功的标杆有实践意义，本文的主旨就是寻找“正在做”大数据的49个样本。力图从企业运营和管理的角度，梳理出发掘大数据价值的一般规律： 一是以数据驱动的决策，主要通过提高预测概率，来提高决策成功率;二是以数据驱动的流程，主要是形成营销闭环战略，提高销售漏斗的转化率; ...
分类：
其他好文 时间：
2018-10-12 11:06:18
阅读次数：
171
1.机器学习定义：是人工智能的一个分支。我们使用计算机设计一个系统，使它能够根据提供的训练数据按照一定的方式来学习；随着训练次数的增加，该系统可以在性能上不断的学习和改进；通过参数优化的学习模型，能够用于预测相关问题的输出 2.机器学习的一般过程：(1)数据收集 》(2)数据清洗 》(3)特征工程 ...
分类：
其他好文 时间：
2018-09-14 13:56:28
阅读次数：
160
相当一部分大数据分析处理的原始数据来自关系型数据库，处理结果也存放在关系型数据库中。原因在于超过99%的软件系统采用传统的关系型数据库，大家对它们很熟悉，用起来得心应手。 在我们正式的大数据团队，数仓（数据仓库Hive+HBase）的数据收集同样来自Oracle或MySql，处理后的统计结果和明细，... ...
分类：
数据库 时间：
2018-09-14 01:18:38
阅读次数：
211
先做一个对比： 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不够完善 健壮性 / 容错性 ZooKeeper ...
分类：
其他好文 时间：
2018-09-10 11:02:27
阅读次数：
539
今天加盟部校长说做一个用户数据收集并导出Excel文件的小网页，主要便于查看客户信息，前期一切顺利，就在生成Excel和下载的时候出现了问题，收集了一些资料，有人说用NPOI插件，这个可行，我在网上收集了资料，没有使用插件做了一个简单的Excel生成器，话不多少代码如下： 首先在服务类中 //导出E ...
分类：
其他好文 时间：
2018-09-08 18:24:13
阅读次数：
200
zabbix组件： zabbix-server zabbix-database zabbix-web zabbix-agent zabbix-proxy zabbix逻辑组件： 主机组、主机 item（监控项）、appliction（应用） graph（图形） trigger（触发器） event（ ...
分类：
其他好文 时间：
2018-08-29 14:40:53
阅读次数：
231
