之前打算做个微信小程序的社区,所以写了爬虫去爬取微信小程序,后面发现做微信小程序没有前途,就把原来的项目废弃了做了现在的网站观点,不过代码放着也是放着,还不如公开让大家用,所以我把代码贴出来,有需要的复制了使用就是了。 #coding:utf-8 __author__ = 'haoning' #!/ ...
分类:
微信 时间:
2020-04-18 12:16:37
阅读次数:
114
一、集群服务器配置说明(整个过程中我会提前把一些小坑填上,有的坑后面没有提到) IP 节点名 OS Cores Memory Disk Remark 172.25.16.1 cdh1 CentOS7.5 40 128 4T cloudera Server、cloudera agent 172.25. ...
分类:
其他好文 时间:
2020-04-16 18:00:39
阅读次数:
332
Zabbix 主要特点 安装与配置简单,学习成本低 支持多语言(包括中文) 免费开源 自动发现服务器与网络设备分布式监视以及 WEB 集中管理功能 可以无 agent 监视 用户安全认证和柔软的授权方式 通过 WEB 界面设置或查看监视结果 email 等通知功能 Zabbix主要功能 监控CPU负 ...
分类:
其他好文 时间:
2020-04-16 13:39:33
阅读次数:
92
Correct, if you use items with type "Zabbix agent" (so called passive checks). They will not work.Still older agents (prior to 4.0) work well with 4.0 ...
代码实现 导入模块和定义常量 import re import time import csv import os import requests import html # 设置请求头 headers = { 'cookie': 'shshshfp=22dd633052035d21be92463f ...
分类:
编程语言 时间:
2020-04-16 11:49:30
阅读次数:
124
环境centos7.6zabbix-agent4.0.14mysql5.7创建监控MySQL用户用root用户登录MySQL,创建授权用户信息。#grantusageon.to‘jiankong’@’mysql服务器ip’identifiedby‘xxxxxx’;#flushprivileges;这里直接使用root用户测试。agent端配置zabbix-agent没有安装,使用yuminstal
分类:
数据库 时间:
2020-04-15 09:21:51
阅读次数:
228
importurllibfromurllibimportrequestimportreurl="http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"header={"User-Agent":"Mozilla/5.0(WindowsNT5.1;rv:52.0)
分类:
其他好文 时间:
2020-04-13 22:37:40
阅读次数:
138
1、UA检测 UA,即 User-Agent,是HTTP请求头部信息的一个属性,它是用户访问网站时的浏览器标识,可以通过审查元素或者开发者工具中看到。一些网站通过检测UA从而确定请求的对象是脚本程序还是正常的用户通过浏览器请求,实现反爬虫的目的。 反反爬策略:构造自己的UA池,使得每次用程序向网站发 ...
分类:
其他好文 时间:
2020-04-13 19:35:18
阅读次数:
64
# UA:User-Agent(请求载体的身份标识) # UA 检测: 门户网站的服务器会检测对应请求的载体身份标识,如果检测到请求的载体身份标识为某一浏览器 #说明该请求是一个正常的请求。否则为不正常的请求(爬虫),则服务器有可能拒绝 # UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器 ...
分类:
Web程序 时间:
2020-04-13 16:49:31
阅读次数:
88
import requestsimport jsonif __name__ =='__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gec ...
分类:
其他好文 时间:
2020-04-13 16:44:16
阅读次数:
70