Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 一、Scrapy-Redis分布式策略： Master端(核心服务器)：搭建一个Redis数据库，并开启redis-server ...
分类：
其他好文 时间：
2021-05-24 06:20:04
阅读次数：
0
先用ifconfig br_name down 停掉网桥 再用brctl delbr br_name 删除网桥 为了方便，我编写了shell脚本来删除网桥 #!/bin/bash #本脚本删除的是br-开头的网桥 BRIDGE_LIST=$(sudo brctl show | cut -f 1 | ...
分类：
其他好文 时间：
2021-05-24 06:19:17
阅读次数：
0
#当获得一条shell后，可以创建一个影子用户，通过影子用户可以行驶正常用户的所有权限与功能，并且只可在注册表中被检测出来 (应急响应注册表很重要） 1.首先需要拥有权限创建一个Administrator用户，并分配管理员权限。 net user haha$ hahapass /add net lo ...
问题概述 使用MySQL数据库，有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法直视。原开发人员都已离职，到我来维护，这就是传说中 ...
分类：
数据库 时间：
2021-05-24 06:01:31
阅读次数：
0
xargs $ seq 10 | xargs -i date Fri Jul 21 14:20:55 CST 2017 Fri Jul 21 14:20:55 CST 2017 Fri Jul 21 14:20:55 CST 2017 Fri Jul 21 14:20:55 CST 2017 Fri ...
分类：
系统相关 时间：
2021-05-24 05:37:34
阅读次数：
0
1 观察开源项目 后端的： 前端的： 2 开源项目下载 下载完毕，然后解压，优先使用码云下载 解压，先不要着急运行！ 观察： 用了哪些技术(springboot,vue,redis,mq) 是否有数据库(mysql) 你的环境是否匹配（java,maven,npm,nodejs,redis..... ...
分类：
其他好文 时间：
2021-05-24 05:19:26
阅读次数：
0
一、使用Apache ab模拟并发压测 1、压测工具介绍 $ ab -n 100 -c 100 http://www.baidu.com/ -n表示发出100个请求，-c模拟100个并发，相当是100个人同时访问。 还可以这样写： $ ab -t 60 -c 100 http://www.baidu ...
分类：
编程语言 时间：
2021-05-24 05:16:43
阅读次数：
0
读写分离负载均衡/集群消息队列Redis分布式缓存：本地缓存 分布式缓存分库分表 解决高并发的方法1.水平扩展：多来几台服务器2.垂直扩展 ：立杆见影,但是有上限3.分布式：就是一台服务器 的事儿分成多台服务器协作完成集群：一台服务器做的事请，现在由多台服务器共同承载,每台服务器都是独立完成的集群— ...
分类：
其他好文 时间：
2021-05-24 05:16:23
阅读次数：
0
概念： redis是一款高性能的NOSQL系列的非关系型数据库。 NOSQL和关系型数据库比较 优点： 1）成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。 2）查询速度：nosql数据库将数据存储于缓存之中，关系型数据 ...
分类：
其他好文 时间：
2021-05-24 04:59:40
阅读次数：
0
shell脚本1 1.脚本基础 shell程序是linux/unix操作系统与用户交互的接口 1.1 内建命令 内建命令：shell程序本身可以接收并处理的指令 外部命令：从path路径中搜索，创建一个当前shell的子进程，子进程执行 type -a 指令 [root@iZjrkzhzhrquk8 ...
分类：
系统相关 时间：
2021-05-24 04:51:08
阅读次数：
0
