全站爬虫有时候做起来其实比较容易,因为规则相对容易建立起来,只需要做好反爬就可以了,今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说,使用scrapy确实用了牛刀,不过毕竟这个系列到这个阶段需要不断使用scrapy进行过度,so,我写了一会就写完了。你第一步找一个爬取种子,算作爬虫入口https://www.zhihu.com/people/zhang-jia-wei/followin
分类:
编程语言 时间:
2019-07-28 09:25:45
阅读次数:
111
第一章 :haproxy介绍 1.1 简介 1.2 性能 第二章 部署安装 2.1 编译安装 1 2 3 4 5 6 7 8 9 10 11 12 打开IP转发 echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf && sysctl -p yum - ...
分类:
其他好文 时间:
2019-07-27 18:19:39
阅读次数:
87
SELinux三种模式 Enforcing:强制模式。代表SELinux在运行中,且已经开始限制domain/type之间的验证关系 Permissive:半关闭。代表SELinux在运行中,但不使用规则,进程仍可以对文件进行操作。不过如果验证不正确会发出警告 Disabled:关闭模式。SELin ...
分类:
系统相关 时间:
2019-07-26 18:51:53
阅读次数:
177
DNS(domainnameserver)--->域名解析服务--->解析就是把域名变成IPvim/etc/hosts--->本地解析文件vim/etc/resolv.conf--->dns的指向文件nameserver8.8.8.8--->当需要某个域名的IP地址时去问8.8.8.8.解析的优先级设置/etc/nsswitch.conf--->系统解析域名的先
分类:
其他好文 时间:
2019-07-25 09:18:50
阅读次数:
95
同源策略: 举个例子,你在访问 某个网页的时候比如 www.xxxx.com ,返回的html页面中存在的js在执行的时候只会在 xxxxx 这里执行,如果同时存在另一个tab 是 www.yyyyy.com 其中的js 在执行的时候只在 yyyyy 返回的这个首页网页中执行。 浏览器加载js的时候 ...
分类:
Web程序 时间:
2019-07-24 19:15:39
阅读次数:
140
urllib库的使用 requests库的简单使用 requests和github api的互动 response响应的常用api ...
1. 创建Android项目 1) Application name:应用名称,launcher界面显示的 2) Company Domain:公司域名(sprd.com) 3) Package name:项目的包名,具有唯一性。系统通过包名区分不同的应用程序。 2. UI界面 1) 工具栏 2) ...
分类:
移动开发 时间:
2019-07-23 09:58:58
阅读次数:
117
今天在调试web应用的时候,碰到时间序列化和反序列化问题,网上查的资料一般都是关于 @JsonFormat 和 @DateFormat 网上好多说的是 @JsonFormat 是 把 对象转 string 即序列化起作用,@DateFormat 是string 转 对象 即反序列化起作用,也有的说 ...
分类:
Web程序 时间:
2019-07-23 00:26:17
阅读次数:
188
weblogic部署服务后由于交接过程中文档不完整导致有一个域的控制台账号密码遗失, 在此整理记录一下重置控制台账号密码的过程: 注:%DOMAIN_HOME%:指WebLogic Server 域(Domain)目录,例如我就是E:\Programs\bea10\user_projects\dom ...
分类:
Web程序 时间:
2019-07-21 18:50:31
阅读次数:
184
package me.zhengjie.monitor.rest; import me.zhengjie.common.aop.log.Log; import me.zhengjie.monitor.domain.vo.RedisVo; import me.zhengjie.monitor.serv... ...
分类:
其他好文 时间:
2019-07-21 13:19:12
阅读次数:
90