Requests模块的使用 中文文档API：http://2.python-requests.org/en/master/ 1、发送get、post请求 2、响应的属性 查看响应内容 response.text 属性 respone.content.decode('utf8') 属性，字节形式的需要 ...
分类：
编程语言 时间：
2019-10-01 20:19:40
阅读次数：
146
Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。 Sink 是完全事务性的。 在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。 批量事件一旦成功写出到存储系统或 ...
分类：
Web程序 时间：
2019-10-01 09:59:54
阅读次数：
102
Spring Cloud Gateway注册到服务器中心(Consul) 准备环境 启动Consul（./consul agent dev）作为服务中心，默认是8500端口，然后启动spring cloud provider（9001端口）和spring cloud provider second（ ...
分类：
编程语言 时间：
2019-09-30 09:28:33
阅读次数：
493
http协议： - 服务器和客户端进行数据交互的一种形式 常用请求头信息： - User-Agent:请求载体的身份标识 - Connection:请求完毕后断开连接还是保持连接 （close keep-alive) 常用响应头信息： - Content-Type: 服务器响应客户端得数据类型 ht ...
分类：
Web程序 时间：
2019-09-29 22:08:05
阅读次数：
227
下载文件 1.直接使用a标签来去下载 有些内容会浏览器自动解析 浏览器不能解析的文件才会被下载 2.通过发送Servlet请求来去下载 通过发送一个Servlet请求，把文件名发送给服务器 发送给服务器后，接收到文件名参数，获取文件的绝对地址 通过流的形式来去写到浏览器 还得要告诉文件是什么类型 浏 ...
分类：
其他好文 时间：
2019-09-29 16:50:46
阅读次数：
93
Source 是负责接收数据到 Flume Agent 的组件。 Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。 ...
分类：
Web程序 时间：
2019-09-28 23:44:45
阅读次数：
140
flume 三大组件 source 收集 channel 聚集 sink 输出 使用Flume关键就是写配置文件 A 配置source B 配置channel C 配置sink D 把以上3个组件串起来 1.通过IP端口 接收数据 启动agent flume-ng agent \ --name a1 ...
分类：
Web程序 时间：
2019-09-28 23:11:36
阅读次数：
122
zabbix入门之监控MySQL 这里使用的是zabbix官方自带的MySQL监控模板。 首先确保在被监控主机安装zabbix agent、zabbix sender，并且将主机加入监控节点。具体操作请看zabbix添加主机：https://www.cnblogs.com/Smbands/p/115 ...
分类：
数据库 时间：
2019-09-28 17:54:54
阅读次数：
98
在有道翻译页面中打开开发者工具，在Headers板块找到Request URL以及相应的data。 上面这种很大可能被有道网页给识别出来不是人工在访问，而是代码在访问。 此时我们可以加个‘User-Agent’代理。通过设置User Agent来达到隐藏身份的目的，一般情况下浏览器是通过User-A ...
分类：
编程语言 时间：
2019-09-28 00:51:25
阅读次数：
83
redis分布式部署 - 概念：可以将一组程序执行在多台机器上（分布式机群），使其进行数据的分布爬取。 1.scrapy框架是否可以自己实现分布式？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调 ...
分类：
编程语言 时间：
2019-09-28 00:36:22
阅读次数：
108
