用Netscaler解决网络爬虫问题近来有人问使用ADC来解决网络爬虫问题，首先要明确的一点：“在爬虫与反爬虫的对弈中，爬虫一定会胜利。”换言之，只要人类能够正常访问的网页，爬虫在具备同等资源的情况下就一定可以抓取到。robots.txt只是约定，爬虫遵守或者不遵守完全在于爬虫作者的意愿。举个例子，公交车上贴着「请为老弱病残孕让座」，但是大部分人并不见得会遵守。一般来讲，只有大的搜索引擎爬虫会遵守
分类：
Web程序 时间：
2018-01-16 10:23:19
阅读次数：
287
在负载均衡做各种复杂策略的时候往往会碰到需要前后有连续性的状态计数，netscaler作为一个策略封装比较友好的ADC在提供完善策略安全性保障的同时还提供了比较开放的编程环境。在编程中很关键的一环就是变量的定义和使用，我们就变量这一话题来看netscaler能够提供怎样的功能。本文抛砖引玉为目的，提供一个思路供大家参考，具体应用场景还需要大家发散性思考。
分类：
Web程序 时间：
2018-01-16 10:19:19
阅读次数：
224
今天系统发布到测试环境，有一个用户登录后显示502 Bad Gateway错误，其他的用户都登录成功。但是在开发机链接测试数据库，使用该账号登录成功。 初步猜测是Nginx的问题，查看nginx的错误日志，得到以下错误信息： upstream sent too big header while re ...
分类：
其他好文 时间：
2018-01-15 17:32:43
阅读次数：
167
操作如下，登陆SSH:vi/etc/syscionfig/network-scripts/ifcfg-eth0:0第二个IP,就是vi/etc/syscionfig/network-scripts/ifcfg-eth0:1第三个IP,就是ifcfg-eth0:2(由此类推)DEVICE=eth0:0网卡设备名称onboot=YES随机启动BOOTPROTO=static静态分配IPIPADDR=.
分类：
其他好文 时间：
2018-01-15 11:16:01
阅读次数：
151
实验步骤： 1、配置网络设备 Gateway： -客户端网关 interface gi0/0/0 undo shutdown ip address 192.168.2.254 255.255.255.0-服务器网关interface gi0/0/1 undo shutdownip address 192.168.
分类：
Web程序 时间：
2018-01-15 01:03:06
阅读次数：
231
NetScaler 修改 kernel image 及制作 FlashBoot 一、修改 kernel image 1) netscaler-adc下载页面地址 https://www.citrix.com/downloads/netscaler-adc/ 2) netscaler-vpx-expr ...
分类：
Web程序 时间：
2018-01-12 22:42:57
阅读次数：
850
实验名称：思科配置HSRP协议实验目的：通过配置HSRP，为pc机提供不间断的网关服务实验拓扑：实验需求：台路由器，一台pc机，一台交换机实验思路：配置pc机配置路由器实验步骤：配置PC机：为PC配置IP、子网掩码及网关Gateway-1：Router>enRouter#configureterminalEnterconfigurationcommands,oneperline.Endwit
分类：
其他好文 时间：
2018-01-12 11:30:11
阅读次数：
158
一、HTTP协议 一、HTTP简介 HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。 HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图 ...
分类：
Web程序 时间：
2018-01-09 23:11:38
阅读次数：
336
摘要：对于一个大型网站来说，负载均衡是永恒的话题。随着硬件技术的迅猛发展，越来越多的负载均衡硬件设备涌现出来，如F5 BIG-IP、Citrix NetScaler、Radware等等，虽然可以解决问题，但其高昂的价格却往往令人望而却步，因此负载均衡软件仍然是大部分公司的不二之选。nginx作为we ...
分类：
其他好文 时间：
2018-01-08 18:34:51
阅读次数：
154
现在大系统都是用一个deploy job去部署，在pipeline里面配置了多个job，运行时间很长，所以考虑优化一下 看了下jenkins里面的语法提示 改造成并发比较容易，不过考虑到有些模块之间的依赖关系，所以分组设置，不同组之间可以并发部署 执行后查看，各个分组已经可以同时运行 最后查看执行时 ...
分类：
其他好文 时间：
2018-01-06 14:09:45
阅读次数：
1667
