软件介绍： Tsar是淘宝开发的一个非常好用的系统监控工具，在淘宝内部大量使用，它不仅可以监控CPU、IO、内存、TCP等系统状态，也可以监控Apache，Nginx/Tengine，Squid等服务器状态。值得一提的是，Tsar 支持将数据存储到 MySQL 中，也可以将数据发送到 Nagios ...
分类：
其他好文 时间：
2017-11-11 23:43:59
阅读次数：
172
因为工作需要cnnvd漏洞信息，以前用着集客搜、八爪鱼之类的工具，但对其效果和速度都不满意。最近开始接触学习爬虫，作为初学者，还需要慢慢完善。先记录下第一个爬虫。还想着在多进程和IP代理方向改善学习。 这个是运行情况，速度还是无法忍受，多进程在数据获取应该能快很多，IP代理应该能忽视短时间多次访问被 ...
分类：
编程语言 时间：
2017-11-08 17:43:15
阅读次数：
813
squid 配置文件 #acl localnet src 10.0.0.0/8 # RFC1918 possible internal network#acl localnet src 172.16.0.0/12 # RFC1918 possible internal networkacl loca ...
分类：
其他好文 时间：
2017-11-07 19:51:44
阅读次数：
196
0x01 前言 一般而言，抓取稍微正规一点的网站，都会有反爬虫的制约。反爬虫主要有以下几种方式： 0x02 概要 今天我们先主要来讲一讲，如何应对第2条的反反爬虫，如何通过多IP抓取。 通过多IP爬虫，又分为以下几种形式： 0x03 正文 1. ADSL拨号 我一般是在windows平台ADSL拨号 ...
分类：
其他好文 时间：
2017-11-07 14:34:21
阅读次数：
6340
#定义Nginx运行的用户和用户组 user www www; #nginx进程数，建议设置为等于CPU总核心数。 worker_processes 8; #全局错误日志定义类型，[ debug | info | notice | warn | error | crit ] error_log ar ...
分类：
其他好文 时间：
2017-11-07 11:14:02
阅读次数：
198
简介：varnish：是一款高性能并且开源的反向代理服务器和http加速器，据官方称可有300-1000倍的速度提升，它采用了全新的软件体系结构，和现在的硬件体系紧密结合，和传统的squid相比，varnish具有性能更高、速度更快、管理更加方便等诸多优点，很多大型的网站都开始尝试使用va..
分类：
其他好文 时间：
2017-11-06 11:14:30
阅读次数：
244
squid(代理服务器)-----------------------------------client:192.168.4.1virbr1真实机-----------------------------------squid:192.168.4.5network1172.16.0.5network2------------------------------------web:172.16.0.100network2-------------------------------------..
分类：
系统相关 时间：
2017-11-04 00:02:14
阅读次数：
169
配置文件一般是在/etc/squid3/下的squid.conf文件 pyspider使用的时候只需要设置代理服务器为你配置好的服务器的ＩＰ就可以了 1 class Handler(BaseHandler): 2 crawl_config = { 3 'proxy': '127.0.0.1:6666 ...
分类：
其他好文 时间：
2017-11-02 15:50:31
阅读次数：
199
一、配置httpd.conf# Virtual hosts#Include conf/extra/httpd-vhosts.conf //取消这一行的# 二、配置httpd-vhosts.conf文件 1.多IP模式<VirtualHost *:80> DocumentRoot "E:/www/ht ...
分类：
Web程序 时间：
2017-10-29 11:05:53
阅读次数：
273
简介 提高服务器性能有很多方法，比如划分图片服务器，主从数据库服务器，和网站服务器在服务器。但是硬件资源额定有限的情况下，最大的压榨服务器的性能，提高服务器的并发处理能力，是很多运维技术人员思考的问题。要提高Linux系统下的负载能力，可以使用nginx等原生并发处理能力就很强的web服务器，如果使 ...
分类：
系统相关 时间：
2017-10-27 11:44:49
阅读次数：
3833
