urllib 是一个 python 内置包，不需要额外安装即可使用，包里面包含了以下几个用来处理 url 的模块： urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取网页响应内容。 urllib.error，用来处理 u ...
分类：
Web程序 时间：
2020-05-31 15:46:54
阅读次数：
79
有没有遇到过这种情况：网页响应很慢，提交一次表单后发现没反应，然后你就疯狂点击提交按钮（12306就经常被这样怒怼），如果做过防重复提交还好，否则那是什么级别的灾难就不好说了。。。 本文主要是应用 `spring AOP、 Guava Cache` 生成一种本地锁，来达到的防重复提交效果，由于是基于 ...
分类：
编程语言 时间：
2020-02-05 23:36:59
阅读次数：
89
1. 前言（目的就是大大提升爬虫效率） 在执行IO密集型任务的时候，代码常常遇到IO操作而等待。例如我们在爬虫的时候，用到requests请求的时候，网页响应慢，一直等待着，那么爬虫的效率会大大的降低。 为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的方法，此种方法对于 IO 密 ...
分类：
其他好文 时间：
2019-10-01 16:03:44
阅读次数：
86
网站地址：https://srm.dongfang.com/bid_detail.screen 东方电气采购的页面看似很友好，实际上并不好爬取 在观察网页的审查元素之后发现，1处的网页响应只是单纯的一些js代码，并没有我们想要的数据信息，因此很明显该网页是经过js修饰的 另外再翻页时，发现该网页的u ...
分类：
编程语言 时间：
2019-04-09 14:00:21
阅读次数：
241
记一次 网页响应慢，waiting（TTFB）时间过长,接口返回耗时，数据库占用CPU 90%以上问题排查 症状：H5页面打开白板，几十秒后出现页面，调试跟踪访问接口waiting（TTFB：全称 Time To First Byte，是指网络请求被发起到从服务器接收到第一个字节的这段时间，它包含了 ...
分类：
数据库 时间：
2019-03-13 12:15:30
阅读次数：
632
HTTP状态码 301 – 永久移动 请求的资源已被永久移动位置 302 – （临时移动） 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求 305 -- 使用代理 被请求的资源必须通过指定的代理被访问 307 – 临时跳转 请求的资源临时从不同的url响应请求 400 ...
分类：
Web程序 时间：
2019-03-05 21:39:07
阅读次数：
193
1.页面拆出来怎么样通过web服务浏览呢？ 使用web服务(例如nginx)的SSI技术，将多个子页面合并渲染输出。 2.SSI是什么？ 3. ssi包含类似于jsp页面中的incluce指令，ssi是在web服务端将include指定 的页面包含在网页中，渲染html网页响应给客户端 。nginx ...
分类：
其他好文 时间：
2019-02-23 10:45:18
阅读次数：
282
运行多个Tornado实例 网页响应不是特别的计算密集型处理多个实例充分利用 CPU多端口怎么处理4.使用Supervisor监控Tornado进程安装（注意看是否需要指定使用python2版本） sudo pip2 install supervisor安装完之后先启动 sudo superviso ...
分类：
其他好文 时间：
2019-02-20 12:42:47
阅读次数：
179
HTTP状态码 200 (成功) 服务器已成功处理了请求。 通常，这表示服务器提供了请求的网页。 301 (永久移动) 请求的网页已永久移动到新位置。 服务器返回此响应(对 GET 或 HEAD 请求的响应)时，会自动将请求者转到新位置。 302 (临时移动) 服务器目前从不同位置的网页响应请求，但 ...
分类：
Web程序 时间：
2018-12-22 13:46:59
阅读次数：
230
你遇到过性能很差的网页吗？ 这种网页响应非常缓慢，占用大量的 CPU 和内存，浏览起来常常有卡顿，页面的动画效果也不流畅。 你会有什么反应？我猜想，大多数用户会关闭这个页面，改为访问其他网站。作为一个开发者，肯定不愿意看到这种情况，怎样才能提高性能呢？ 本文将详细介绍性能问题的出现原因，以及解决方法 ...
分类：
Web程序 时间：
2018-12-13 12:14:40
阅读次数：
268
