Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 一、Scrapy-Redis分布式策略： Master端(核心服务器)：搭建一个Redis数据库，并开启redis-server ...
分类：
其他好文 时间：
2021-05-24 06:20:04
阅读次数：
0
引入：原始值与引用值的复制 当我们复制原始数据时，如数值、字符串，举例来说，下面的b相当于开辟了新的空间来放置变量b，并储存了a的值，所以改变b的值不会影响a的值。 let a=1 let b=a console.log(a) //1 console.log(b) //1 b=2 console.l ...
分类：
Web程序 时间：
2021-05-24 06:16:34
阅读次数：
0
如果你还不知道如何控制springboot中bean的加载顺序，那你一定要看此篇 1.为什么需要控制加载顺序 springboot遵从约定大于配置的原则，极大程度的解决了配置繁琐的问题。在此基础上，又提供了spi机制，用spring.factories可以完成一个小组件的自动装配功能。 在一般业务场 ...
分类：
编程语言 时间：
2021-05-24 05:27:04
阅读次数：
0
1 观察开源项目 后端的： 前端的： 2 开源项目下载 下载完毕，然后解压，优先使用码云下载 解压，先不要着急运行！ 观察： 用了哪些技术(springboot,vue,redis,mq) 是否有数据库(mysql) 你的环境是否匹配（java,maven,npm,nodejs,redis..... ...
分类：
其他好文 时间：
2021-05-24 05:19:26
阅读次数：
0
首先给出结论,当定义基本数据类型的变量并且同时赋值的时候,该变量是无法通过反射更改. 此时由于JVM编译优化机制,任何引用该变量的地方得到都是常量,上简单代码: 定义三个final变量,其中两个为基本数据类型(int和string) public class TestReflection { fin ...
分类：
其他好文 时间：
2021-05-24 05:17:08
阅读次数：
0
一、使用Apache ab模拟并发压测 1、压测工具介绍 $ ab -n 100 -c 100 http://www.baidu.com/ -n表示发出100个请求，-c模拟100个并发，相当是100个人同时访问。 还可以这样写： $ ab -t 60 -c 100 http://www.baidu ...
分类：
编程语言 时间：
2021-05-24 05:16:43
阅读次数：
0
读写分离负载均衡/集群消息队列Redis分布式缓存：本地缓存 分布式缓存分库分表 解决高并发的方法1.水平扩展：多来几台服务器2.垂直扩展 ：立杆见影,但是有上限3.分布式：就是一台服务器 的事儿分成多台服务器协作完成集群：一台服务器做的事请，现在由多台服务器共同承载,每台服务器都是独立完成的集群— ...
分类：
其他好文 时间：
2021-05-24 05:16:23
阅读次数：
0
3.5 面向连接的运输：TCP 3.5.1 TCP连接 面向连接：两个进程必须握手，相互发送预备报文段来确保数据传输的参数，初始化和TCO连续相关的状态变量 TCP协议在端系统中运行，中间的网络元素对连接是忽视的，看到的是数据报 TCP连接是点对点，只在连接双方 客户先发送一个特殊的TCP文段，服务 ...
分类：
其他好文 时间：
2021-05-24 05:01:33
阅读次数：
0
概念： redis是一款高性能的NOSQL系列的非关系型数据库。 NOSQL和关系型数据库比较 优点： 1）成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。 2）查询速度：nosql数据库将数据存储于缓存之中，关系型数据 ...
分类：
其他好文 时间：
2021-05-24 04:59:40
阅读次数：
0
Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题，这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。 1. 背景 Curve是网易数帆在2020年7月份开源的一个高性能、高可用、高可靠的分布式存储系统，主打高性能、低延迟。 Github代码仓库：https:/ ...
分类：
其他好文 时间：
2021-05-24 04:54:22
阅读次数：
0
