1、 类库(Class Library)是一个综合性的面向对象的可重用类型集合，这些类型包括：接口、抽象类和具体类。类库可以解决一系列常见编程任务（包括诸如字符串管理、数据收集、数据库连接以及文件访问等任务），还可以解决多种专用开发任务（控制台应用程序、桌面应用程序、WEB应用程序等）。 中文名：类 ...
1. 什么是合成数据？计算机认为制造数据，而不是从实际情况中测量、收集数据时，被称为合成数据。但是合成数据也是来源自实际情况中的测量、收集数据。数据是匿名的，并给予用户指定的参数创建，以便尽可能接近来自真实场景的数据的属性。创造和成数据的一种方法是使用现实世界中的数据，生成一个可以从真实数据中学习的 ...
分类：
其他好文 时间：
2019-09-10 00:16:03
阅读次数：
112
一、大数据的计算模式在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。如果我们处理以年、月为单位的级别的数据，那么多数据的实时性要求并不高；但如果我们处理的是以天、小时，甚至分钟为单位的数据，那么对数据的时效性要求就比较高。在第二种场景下，如果我们仍旧采用传统的数据处理方式，统一收集数据，存储到数据库中，之后在进行分析，就可能无法满足时效性的要求。
分类：
其他好文 时间：
2019-09-09 21:04:16
阅读次数：
108
[TOC] 前言： 1、线上业务使用了几十上百台haproxy服务，需要针对这些服务做监控(包含haproxy端口对应的TCP连接数监控，haproxy服务监控等)。 2、普通的在zabbix_agentd.conf里面配置"UserParameter"的方式太繁琐，这里使用建表(收集数据,汇总数据 ...
分类：
其他好文 时间：
2019-09-05 23:36:57
阅读次数：
127
一面，电话（20190903） 1. 介绍下你自己 2.详细介绍个你自己觉得擅长的项目 3.这个项目的创新点 4.你觉得你怎么在cv领域做的突出 5.除了图像类算法，你还懂别的算法吗？ 6.详细的讲一下逻辑回归的推导吧，以及你在哪里用到这个算法的案例 7.随机森林和GBDT算法的区别 8.2根绳子， ...
分类：
其他好文 时间：
2019-09-03 22:29:02
阅读次数：
130
一、Azkaban 介绍 1.1 背景 一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题： 如何定时调度某个任务？ 如何在某个任务执行完成后再去执行另一个任务？ 如何 ...
分类：
其他好文 时间：
2019-09-01 10:33:11
阅读次数：
86
一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的 ...
分类：
Web程序 时间：
2019-08-31 17:18:53
阅读次数：
130
简单介绍tcpdump是一个能够对网络上的数据包进行收集的网络分析工具，根据用户自定义条件收集数据包，具备灵活的策略，是系统管理员分析网络、排查问题的利器。tcpdump提供了源代码，有公开的接口，因此具备很强的可扩展性，它支持针对网络层、协议、主机、网络或端口的过滤，并且支持and、or、not等逻辑语句。普通用户无法执行tcpdump命令，只有具备root权限才能执行。参数介绍默认情况下启动t
分类：
系统相关 时间：
2019-08-18 22:27:17
阅读次数：
182
一. 先聊点别的 1. sql & nosql sql指关系型数据库，如Oracle，MySQL等，nosql泛指非关系型数据库，如MongoDB，Redis等；SQL数据存在特定结构的表中，而NoSQL则更加灵活和可扩展，存储方式可以是JSON文档，哈希表或其他方式；在sql中必须定义好表和字段结 ...
分类：
其他好文 时间：
2019-08-18 15:53:21
阅读次数：
51
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume style Push based ...
分类：
Web程序 时间：
2019-08-15 09:24:53
阅读次数：
106
