上一篇中我们通过一个实例看到了Java8 Stream API 相较于传统的的Java 集合操作的简洁与优势，本篇我们依然借助于一个实际的例子来看看Java8 Stream API 如何抽取及收集数据。 备注：上一篇内容： "如何用Java8 Stream API找到心仪的女朋友" 目标&背景 我们 ...
分类：
编程语言 时间：
2020-03-03 01:13:48
阅读次数：
105
算法的简要概述 在机器学习问题中，高维度数据进行回归和分类是一个很困难的问题。例如在许多Microarray生物数据上，数据的维度通常是千和万级别，但是由于收集数据需要昂贵的实验，因此可用的训练数据却相当少，通常只有50 300左右，这样的现象通常称为“small samples, large pr ...
分类：
其他好文 时间：
2020-02-29 14:54:03
阅读次数：
115
深度学习算法对训练数据的胃口很大，当你收集到足够多的带标签数据构成训练集时，算法效果最好。 这导致很多团队用尽一切方法收集数据，然后把它们堆到训练集里，让训练的数据量更大。但是有些数据，甚至是大部分数据，都来自和开发集和测试集不同的分布。所以深度学习时代，越来越多的团队都用和dev set、test ...
分类：
其他好文 时间：
2020-02-25 14:26:24
阅读次数：
59
1. Flume介绍 1.1 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.2 系统功能 1 ...
分类：
Web程序 时间：
2020-02-17 15:40:44
阅读次数：
95
1、Flume简单介绍 Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2、Flume体系结构 ...
分类：
Web程序 时间：
2020-02-13 12:37:38
阅读次数：
78
在我们日常运维的过程中，对系统的监控是必不可少的。通过监控我们能够了解到系统资源的使用状况如网络吞吐量，磁盘使用率以及系统的某些服务是否处于running状态，以便于在适当的时候采取相应的措施。那今天我们就来看一下如何使用Azure Monitor从Azure虚拟机收集logs和metrics数据。
分类：
其他好文 时间：
2020-02-13 10:06:28
阅读次数：
97
1. 大数据处理流程 大数据处理的根本目的是从海量 异质 数据中 挖掘知识 ，包含了数据源收集、数据存储管理、数据分析与挖掘以及数据展现与获取等几个 序列进行 的步骤，如图1: 图1 大数据处理流程的整体架构 1.1 数据源 原始数据来源各异，很多数据形式不规整，包含噪音，因此首先需要从原始数据中进 ...
分类：
其他好文 时间：
2020-02-08 17:48:25
阅读次数：
68
今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 ...
分类：
其他好文 时间：
2020-02-05 23:06:48
阅读次数：
83
Server Applet Servlet（接口) -> GenericServlet(抽象类) -> HttpServlet(抽象类) Servlet 是运行在应用服务器上的程序处理HTTP请求 动态生成页面 收集数据 写入数据库客户端与数据库的中间层 Servlet有三个主要的方法: init( ...
分类：
其他好文 时间：
2020-02-01 14:34:12
阅读次数：
94
1.定义问题 问题先于需求，需求先于解决方案，解决方案先于设计，设计先于技术 2.收集数据 3.数据准备 4.探索性分析 5.数据建模 6.验证你的模型 7.优化策略 ...
分类：
其他好文 时间：
2020-01-31 10:59:12
阅读次数：
76
