Linux概述 消息对列(Kafka、RabbitMQ、RockeetMQ),缓存(Redis),搜索引擎(ES) 集群分布式(需要购买多台服务器,如果没服务器我们就只能使用虚拟机) 我们为什么要学Linux Linux的几个优点 免费(这个是大多数人的喜欢的吧) 很多软件原生是在Linux运行的, ...
分类:
系统相关 时间:
2020-07-01 09:24:00
阅读次数:
122
redis 和 memcached 的区别 redis支持更丰富的数据类型(支持更复杂的应用场景):Redis不仅仅支持简单的k/v类型的数据,同时还提供 list,set,zset,hash等数据结构的存储。memcache支持简单的数据类型,String。 Redis支持数据的持久化,可以将内存 ...
分类:
其他好文 时间:
2020-07-01 09:18:21
阅读次数:
44
为什么用分布式锁? 在讨论这个问题之前,我们先来看一个业务场景: 系统A是一个电商系统,目前是一台机器部署,系统中有一个用户下订单的接口,但是用户下订单之前一定要去检查一下库存,确保库存足够了才会给用户下单。 由于系统有一定的并发,所以会预先将商品的库存保存在redis中,用户下单的时候会更新red ...
分类:
其他好文 时间:
2020-06-30 22:58:03
阅读次数:
87
增量式爬虫 - 概念:监测网站数据更新的情况,只会爬取网站最新更新出来的数据。 - 分析: - 指定一个起始url - 基于CrawlSpider获取其他页码链接 - 基于Rule将其他页码链接进行请求 - 从每一个页码对应的页面源码中解析出每一个电影详情页的URL - 核心:检测电影详情页的url ...
分类:
其他好文 时间:
2020-06-30 22:53:05
阅读次数:
77
在linux中,&和&&,|和||介绍如下: 1、&和&& & 表示任务在后台执行,如要在后台运行redis-server,则有 redis-server & && 表示前一条命令执行成功时,才执行后一条命令 ,如 echo '1‘ && echo '2' 2、|和|| | 表示管道,上一条命令的输 ...
分类:
系统相关 时间:
2020-06-30 22:41:00
阅读次数:
89
2.源码解析 1.相关命令如下: {"hset",hsetCommand,4,"wmF",0,NULL,1,1,1,0,0}, {"hsetnx",hsetnxCommand,4,"wmF",0,NULL,1,1,1,0,0}, {"hget",hgetCommand,3,"rF",0,NULL,1 ...
分类:
其他好文 时间:
2020-06-30 22:23:02
阅读次数:
51
分布式爬虫 - 概念:我们需要搭建一个分布式的机群,让其对一组资源进行分布联合爬取。 - 作用:提升爬取数据的效率 - 如何实现分布式? - 安装一个scrapy-redis的组件 爬取到的数据自动存放在redis中 - 原生的scarapy是不可以实现分布式爬虫,必须要让scrapy结合着scra ...
分类:
其他好文 时间:
2020-06-30 22:22:17
阅读次数:
58
英伟达的jetson xavier 或者NX打开风扇都是通过修改下面的文件实现的。 vim /sys/devices/pwm-fan/target_pwm 或者直接 sudo sh -c "echo 150 > /sys/devices/pwm-fan/target_pwm" 但是修改上述文件的时候 ...
分类:
其他好文 时间:
2020-06-30 20:30:54
阅读次数:
375
1.什么是缓存 解决方案:使用缓存。 1.1目前缓存的主流技术 1、Redis 2、Memcached 二者区别: 1、Memcache是多线程 2、Redis是单线程 2.11.Redis的基本命令 2.11.1.KEYS exits key检测指定key是否存在,返回1表示存在,0不存在 del ...
分类:
其他好文 时间:
2020-06-30 20:29:31
阅读次数:
51
java使用redis 很简单,看我的github的例子就行 spirng整合redis,这里用xml配置方式实现 2.1导包 <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redis ...
分类:
编程语言 时间:
2020-06-30 20:24:26
阅读次数:
80