Cookies的处理 作用 在爬虫中如果遇到了cookie的反爬如何处理? 案例 爬取雪球网中的新闻资讯数据:https://xueqiu.com/ ...
分类：
编程语言 时间：
2020-01-12 18:10:07
阅读次数：
174
今天咋们来看看网易云赵雷的歌曲歌词，并做一个词云图。这篇文章可以学习到什么是词云，爬虫的基本流程，简单的可视化操作 @[toc] 一 什么是词云 可视化有很多种，好的数据可视化，可以使得数据分析的结果更加通俗易通。"词云"属于可视化的一种，它会根据关键词的出现频率生成一幅图，这样可以让我们一眼就知道 ...
分类：
编程语言 时间：
2020-01-12 18:04:13
阅读次数：
115
? navigator 对象包含有关浏览器的信息，它有很多属性，我们最常用的是 userAgent，该属性可以返回由客户机发送服务器的 user agent 头部的值。 下面前端代码可以判断用户那个终端打开页面，实现跳转 ...
分类：
其他好文 时间：
2020-01-12 13:46:37
阅读次数：
86
对于网络时代，我们有必要学习http编程，目前，我们只是简单学习一下客户端的请求，服务端的到时候可以使用框架来学习，这样才更加高效 import java.io.*; import java.net.URI; import java.net.http.HttpClient; import java. ...
分类：
编程语言 时间：
2020-01-12 13:30:36
阅读次数：
72
2.1 网络爬虫引发的问题 图 网络爬虫的尺寸 网络爬虫的限制 来源审查：判断User-Agent进行限制 检查来访HTTP协议头的User-Agent域，只响应浏览器或者友好爬虫的访问。 发布公告：Robots协议 告知所有爬虫网站的爬取策略，要求爬虫遵守 2.2 Robots协议 Robots ...
分类：
其他好文 时间：
2020-01-12 11:42:56
阅读次数：
171
在一般情况下一台服务器如果要做大量用户并发的压力测试是扛不住的，基本上jmeter都崩溃。现在我们借助Jmeter提供的Controller+Agent模式搭建一套分布式压力测试环境角色IP操作系统版本Controller192.168.10.103Windows105.1.1Agent192.168.10.210CentOS75.2.1Agent192.168.10.211CentOS75.2.
分类：
其他好文 时间：
2020-01-11 09:29:18
阅读次数：
91
1.安装yuminstalldocker-y#安装dockersystemctlenabledocker#开机自动启动dockerrun-d--restart=unless-stopped-p80:80-p443:443rancher/rancher:stable#拉取rancher创建2.登录账号密码adminadmin3添加node节点#先选中创建的集群#选择主机，编辑集群#移动到最后面复制代
分类：
其他好文 时间：
2020-01-11 00:30:22
阅读次数：
117
例子 url = 'http://beanhome.com/user/login' header = { "Content-Type": 'application/json', "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5 ...
分类：
其他好文 时间：
2020-01-10 22:00:00
阅读次数：
59
端口占用导致的，修改下，或者启动时取消远程debug配置。 JAVA_OPTS="-server -Xms512m -Xmx1024m -XX:PermSize=256M -XX:MaxNewSize=512m -XX:MaxPermSize=1024m -Djava.awt.headless=tr ...
分类：
其他好文 时间：
2020-01-10 12:54:49
阅读次数：
80
# jetbrains 2019.3 永久激活方法 ## 使用方法: 0. 先下载压缩包解压后得到jetbrains-agent.jar，把它放到你认为合适的文件夹内。 下载页面：https://zhile.io/2018/08/17/jetbrains-license-server-crack.h ...
分类：
Web程序 时间：
2020-01-10 12:52:04
阅读次数：
1829
