什么是爬虫？ 就是抓取网页数据的程序 爬虫怎么抓取网页数据？ 网页三大特征： 网页都有自己唯一的URL。 网页都是HTML来描述页面信息。 网页都使用http/https协议来传输HTML数据。 爬虫的设计思路： 获取视频ID 拼接完整url 获取视频播放地址 下载视频 模块使用 requests ...
分类：
编程语言 时间：
2018-06-16 16:19:31
阅读次数：
175
守则说明 高并发大数据的互联网业务,架构设计思路是"解放数据库CPU,将计算转移到服务层" 在大并发的情况下,这些功能很可能将数据库托垮,业务逻辑放到服务层具备更好的扩展性,能够实现 增加机器就增加性能 数据库规范 1.使用InnoDB存储引擎 支持事务、行级锁、并发性能更好、CPU及内存缓存页优化 ...
分类：
数据库 时间：
2018-06-16 15:38:53
阅读次数：
230
什么是秒杀 秒杀场景一般会在电商网站举行一些活动或者节假日在12306网站上抢票时遇到。对于网站中一些稀缺或者特价的产品，电商网站一般会在约定的时间对其进行限量销售，因为这些产品的特殊性，会吸引大量用户前来抢购，并且会在约定时间同时在秒杀页面进行抢购。 设计思路 将请求拦截在系统上游，降低下流压力; ...
分类：
其他好文 时间：
2018-06-15 13:16:48
阅读次数：
145
1.设计思路 将请求拦截在系统上游，降低下游压力：秒杀系统特点是并发量极大，但实际秒杀成功的请求数量却很少，所以如果不在前端拦截很可能造成数据库读写锁冲突，甚至导致死锁，最终请求超时。 充分利用缓存：利用缓存可极大提高系统读写速度。 消息队列：消息队列可以削峰，将拦截大量并发请求，这也是一个异步处理 ...
分类：
其他好文 时间：
2018-06-14 21:00:35
阅读次数：
208
一、数据仓库构建思想 构造数据仓库有两种方式：一是自上而下，一是自下而上。 Bill Inmon先生推崇“自上而下”的方式，即一个企业建立唯一的数据中心，就像一个数据的仓库，其中数据是经过整合、经过清洗、去掉脏数据的、标准的，能够提供统一的视图。要建立这样的数据仓库，并不从它需要支持哪些应用入手，而 ...
分类：
其他好文 时间：
2018-06-14 01:17:59
阅读次数：
191
阿里云k8s k8s实际部署 jenkins+k8s 微服务 pvc持久化存储设计思路.
分类：
其他好文 时间：
2018-06-11 19:06:18
阅读次数：
1039
园区网络规划拓扑图如下：设计思路：区分出二层三层(哪些地方要用到二层技术，哪些地方要用到三层技术)二层技术(vlanvtp端口聚合stp)三层(dhcp(七层)***ospf默认路由nat端口映射(七层))安全(acl各种认证)这个项目主要实现思路关键点之独孤九剑：Ip地址的规范接口对应表的整理主次关系的整理分清楚什么是二层技术什么是三层技术对于相同的预配置先在记事本写好，利用crt直接粘贴复制，
分类：
其他好文 时间：
2018-06-08 12:08:14
阅读次数：
213
并发之Striped64（累加器） 对于该类的实现思想： Striped64是在java8中添加用来支持累加器的并发组件，它可以在并发环境下使用来做某种计数，Striped64的设计思路是在竞争激烈的时候尽量分散竞争，在实现上，Striped64维护了一个base Count和一个Cell数组，计数 ...
分类：
其他好文 时间：
2018-06-03 19:30:12
阅读次数：
171
简介 fabric是一个Python的库，同时它也是一个命令行工具。使用fabric提供的命令行工具，可以很方便地执行应用部署和系统管理等操作。 fabric依赖于paramiko进行ssh交互，fabric的设计思路是通过几个API接口来完成所有的部署，因此fabric对系统管理操作进行了简单的封 ...
分类：
编程语言 时间：
2018-06-02 11:13:32
阅读次数：
408
