前言 pyspider是支持WebUI的,支持任务监控,项目管理,以及多种数据库的一个强大的爬虫框架,这个真的很好用!!!这主要不是教大家怎么使用,怎么怎么样,主要是让大家懂运行的原理,以及框架的整体结构! 今天主要是分为这几部分: 1.为什么要使用pyspider? 2.pyspider的安装 3 ...
分类:
其他好文 时间:
2020-01-17 15:04:17
阅读次数:
89
Taints和Tolerations(污点和容忍) Taint需要与Toleration配合使用,让pod避开那些不合适的node。在node上设置一个或多个Taint后,除非pod明确声明能够容忍这些“污点”,否则无法在这些node上运行。Toleration是pod的属性,让pod能够(注意,只 ...
分类:
Web程序 时间:
2020-01-17 10:02:38
阅读次数:
132
问题: 单从字面理解,我们很容易得出列名称不存在的结论, 但是,很多时候并不是列名出错造成的,而是由于拼凑sql语句时对字符类型数据没有用引号引起来造成的。 例子: 例如: String sql="select age from user where name="+xxx+"; 设置name的值为c ...
分类:
其他好文 时间:
2020-01-16 01:20:02
阅读次数:
98
selenium 常见元素操作 三大等待 三大切换(iframe,window,alert) 下拉列表 鼠标和键盘 js+ dom应用() 上传操作 强制等待:time.sleep() (译:私立破) 必须等待固定时间后才可以往下运行 from selenium import webdriver i ...
分类:
其他好文 时间:
2020-01-15 13:44:05
阅读次数:
99
ReplicaSetRC:ReplicationController(老一代的Pod控制器)用于确保由其管控的Pod对象副本数量,能够满足用户期望,多则删除,少则通过模板创建。特点:?确保Pod资源的对象的数量精准?确保Pod监控运行?弹性伸缩。同样,它也可以通过yaml或json格式的资源清单来创建。其中spec字段一般嵌套一下字段?replicas:期待的Pod对象副本数量?selector:
分类:
其他好文 时间:
2020-01-15 09:30:27
阅读次数:
101
PA(Horizontal Pod Autoscaler)是kubernetes(以下简称k8s)的一种资源对象,能够根据某些指标对在statefulSet、replicaController、replicaSet等集合中的pod数量进行动态伸缩,使运行在上面的服务对指标的变化有一定的自适应能力。 ...
分类:
Web程序 时间:
2020-01-14 20:48:51
阅读次数:
339
pod: lable lable-selector lable key=values pod: pod可以叫做是有生命周期的对象。调度器将其调度到某节点运行后,他的任务终目也就被删除或停掉了。 自主式pod,(自我管理的POD) 控制器管理的pod。(建议使用这种POD) ReplicationCo ...
分类:
Web程序 时间:
2020-01-14 14:52:34
阅读次数:
130
Jar包版本不对: <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.40</version> </dependency> 换个版本就好了: <depend ...
分类:
数据库 时间:
2020-01-14 14:43:58
阅读次数:
92
一 Deployment相对于RC的优势 RS与Deployment主要用于替代RC。RS的全称为Replica Set。相对于RC,RS与Deployment的优势如下: RC只支持基于等式的selector,如env=dev或者environment!=qa。但在RS中,还支持新的基于集合的se ...
分类:
Web程序 时间:
2020-01-14 09:47:38
阅读次数:
115
一、网络问题 1. ping:unknown host 的问题最主要是linux设置的DNS解析不了 域名系统(Domain Name System缩写DNS,Domain Name被译为域名)是因特网的一项核心服务,它作为可以将域名和IP地址相互映射的一个分布式数据库,能够使人更方便的访问互联网, ...
分类:
系统相关 时间:
2020-01-13 21:45:17
阅读次数:
99