一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 版本：2.1.0 Flume 版本：1.7.0 三、实验内容和要求 1.安 ...
分类：
其他好文 时间：
2020-01-27 23:56:31
阅读次数：
256
原理分析 分析 : 在采集数据的网页上进行埋点(编写一小段js用于动态生成Img标签,然后加入dom页面中，利用该标签将参数请求至服务器中) 通过img标签的src属性可以解决跨域问题将数据传递给后端服务器 后端服务器执行步骤： 1. 接受请求 , 响应图片(log.gif) 2. 解析参数 , 保 ...
分类：
其他好文 时间：
2020-01-27 21:55:21
阅读次数：
458
最常见的网游加速器工作原理，是在全国各大网络节点架设服务器，针对不同类型的网络用户选取连接速度最快的节点，从而利用自身快速的转接速度弥补用户较慢的转接速度的。因此可以说，一款网游加速器的性能高低要看两个因素：1、自身服务器节点架设的合理程度；2、节点转接速度快慢。 【服务器架设合理广泛】 网易UU网 ...
分类：
其他好文 时间：
2020-01-27 15:46:52
阅读次数：
122
爬虫概述 早在2016年，我用我的阿里云ECS上运行了一个长期性质的爬虫程序，内容是采集风云二号气象卫星照片，现在假期终于有时间回来查看结果，简单统计如下（附图）： 图片总数：45869 个文件 最早文件：201609131345.jpg 最晚文件：201910091415.jpg 爬虫运行过程 1 ...
分类：
其他好文 时间：
2020-01-27 13:49:55
阅读次数：
84
flume agent 内部原理 1、Source采集数据，将数据封装成Event对象，然后将数据交给 Channel Processor （利用该类的方法进行下一步的处理） 2、 Channel Processor 将Event事件传递给拦截器链（Intercepter，进行简单的数据清洗），然后 ...
分类：
Web程序 时间：
2020-01-26 14:29:01
阅读次数：
130
一、Tushare介绍 Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，能够为金融分析人员提供快速、整洁、多样的便于分析的数据，使得数据获取方面极大地减轻工作量，更加专注于策略和模型的研究和实现。 Tushare从新浪财经、腾 ...
分类：
其他好文 时间：
2020-01-26 00:47:55
阅读次数：
854
destoon7.0采集会员模块内容出现：用户不存在/未审核问题解决办法 在/include/global.func.php文件下找到： $user = array_merge($r1, $r2, $r3); 改为以下代码： $user = array_merge((array)$r1, (arra ...
分类：
其他好文 时间：
2020-01-25 20:49:47
阅读次数：
110
服务端数据采集 客户端数据采集 巧用nginx https://blog.csdn.net/chen45682kang/article/details/81334654 巧用parse server ...
分类：
其他好文 时间：
2020-01-24 17:11:14
阅读次数：
69
先给出答案： 需要结合具体使用的source、channel和sink来分析，具体结果可看本文最后一节。 Flume事务 ====================== 一提到事务，我们首先就想到的是MySQL中的事务， 事务就是将一批操作做成原子性的 ，即这一批要么都成功，要么都失败。 同样的道理， ...
分类：
Web程序 时间：
2020-01-24 00:14:47
阅读次数：
972
flume 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的 海量日志采集、聚合和传输的系统 。Flume基于流式架构，灵活简单。 大数据框架大致分为3类： 数据的采集和传输：flume 数据的存储：HDFS 数据的计算：MapReduce 1.2 应用场景 ...
分类：
Web程序 时间：
2020-01-23 12:37:38
阅读次数：
103
