大数据应用测试过程与传统的web系统有较大的不同，大数据应用测试通常会分为web侧和ETL侧测试，web侧基本就是功能测试，而ETL（Extracting-Transfroming-Loading）测试主要指从任何外部系统提取、转换、载入数据到目标地。从底层数据采集、数据处理、到上层应用展现。 一、 ...
分类：
其他好文 时间：
2019-12-17 18:30:00
阅读次数：
241
小型气象站_自动气象站又叫做小型气象监测系统，小型自动气象监测站。能对风速、风向、雨量、空气温度、空气湿度、光照强度、大气压力、二氧化碳等气象要素进行24小时全天候的自动监测。 小型气象站由气象传感器、电源系统、气象数据记录仪、野外防护箱和不锈钢支架等部分组成。精度高，可靠性高，气象数据采集、气象数 ...
分类：
其他好文 时间：
2019-12-16 14:55:14
阅读次数：
243
采集类型： 全量 采集： 相当于每天整张表做个快照，在hdfs上就是一个分区 ，表比较小 增量采集： 采集每天增加的部分 1、流水型数据 ： 写入数据库数据不再发生变化（如日志，交易流水） ， 第二天处理前一天的数据 采集条件可设为1/ 按时间增量的抽取 ，sqoop: create_time>=T ...
分类：
其他好文 时间：
2019-12-16 13:05:35
阅读次数：
113
scrapy深度爬虫 ——编辑：大牧莫邪 本章内容 深度爬虫概述 scrapy Spider实现的深度爬虫 scrapy CrawlSpdier实现的深度爬虫 案例操作 课程内容 1. 深度爬虫概述 爬虫程序，主要是用与数据采集处理的一种网络程序，在操作过程中针对指定的url地址进行数据请求并根据需 ...
分类：
其他好文 时间：
2019-12-16 00:13:44
阅读次数：
119
气象监控一体机_自动气象站能监测气温、空气湿度、风向、风速、气压、降雨量、光强、总辐射等常规气象要素，并能在无人值守的恶劣环境下全天正常自动运行。具有自动记录、超限、数据通讯等功能。广泛应用于气象，水文，农业，工业，环保，旅游，科研等领域的城市环境监测等领域。 典型应用：农田环境监测，景区环境监测， ...
分类：
其他好文 时间：
2019-12-14 12:11:48
阅读次数：
149
第一节：写作本书的目的 关于笔者 张晓亭（Mike Cheers），1982年出生，内蒙古辽阔的大草原是我的故乡。 没有高学历，没有侃侃而谈的高谈阔论，拥有的就是那一份对技术的执著，对自我价值的追求。 我是谁，其实并不重要，我是高级开发、我是架构师、我是技术经理，这些都是我，跟各位没有半毛钱关系。最 ...
一、前言 此文章主要是对微博微博关键词的检索结果进行采集，但是微博的采集需要登陆，所以此程序分为登陆程序和爬虫程序两部分； 微博要实现规模性数据采集自然少不了大量账号，这就需购买大量账号以及批量登陆，但是都买的账号都会对IP进行限制（一个ip下面最多登陆两个账号），所以无法实现批量登录，只能将采集程 ...
分类：
其他好文 时间：
2019-12-09 13:31:45
阅读次数：
83
WS6-1000、WS5-500以太网虚拟示波器是两款先进的以太网示波器基于以太网虚拟示波器能连续实时高速数据采集容易实现远距离测量无需担心损坏电脑，消除损坏电脑的风险在负载下诊断发动机故障以太网示波器，能解决用户在测量中难于解决的问题，给用户提供的最佳测量方案用以太网示波器加速客户的创业创新的步伐WS5、WS6以太网虚拟示波器连线图链接描述基于PC的以太网示波器（LAN）的优势1、内置UPS不间
分类：
其他好文 时间：
2019-12-07 23:13:04
阅读次数：
146
Zipkin 是一个分布式数据追踪系统，适用于微服务架构下的调用链路数据采集及分析工作。 可通过一个 Web 前端轻松的收集和分析数据，例如用户每次请求服务的处理时间等，可方便的监测系统中存在的瓶颈。 一、配置 Java 环境 安装 JDK Zipkin 使用 Java8 yum inst ...
分类：
其他好文 时间：
2019-12-07 18:08:27
阅读次数：
82
1 数据采集的重要性 数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。很多时候，我们拥有多少数据源，多少数据量，以及数据质量如何，将决定我们挖掘产出的成果会怎样 2 四类采集方式 3 如何使用开放是数据源 4 爬虫方式 (1) 使用request爬取内容。(2)使用xpath解析内容，可以通过元 ...
分类：
编程语言 时间：
2019-12-07 14:34:24
阅读次数：
69
