ImagesPipeline ImagesPipeline：专门用作于二进制数据下载和持久化存储的管道类。建议在爬虫文件中进行数据解析，不建议在爬虫文件中直接进行数据存储。 图片懒加载：应用到标签的伪属性，数据捕获的时候一定是基于伪属性进行。 # -*- coding: utf-8 -*-impor ...
分类：
其他好文 时间：
2020-08-15 23:57:48
阅读次数：
109
Linux概述 消息对列(Kafka、RabbitMQ、RockeetMQ)，缓存(Redis)，搜索引擎(ES) 集群分布式(需要购买多台服务器，如果没服务器我们就只能使用虚拟机) 我们为什么要学Linux Linux的几个优点 免费（这个是大多数人的喜欢的吧） 很多软件原生是在Linux运行的， ...
分类：
系统相关 时间：
2020-08-15 22:35:58
阅读次数：
177
本文会对HBase的基本原理进行剖析，通过本文你可以了解到：CAP理论NoSQL出现的原因HBase的特点及使用场景HBase的数据模型和基本原理客户端API的基本使用易混淆知识点面试总结温馨提示:本文内容较长，如果觉得有用，建议收藏。另外记得分享、点赞、在看，素质三连哦！从BigTable说起HBase是在谷歌BigTable的基础之上进行开源实现的，是一个高可靠、高性能、面向列、可伸缩的分布式
分类：
其他好文 时间：
2020-08-13 22:24:32
阅读次数：
108
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类：
Web程序 时间：
2020-08-13 22:07:34
阅读次数：
83
Prometheus是一个系统和服务监视系统。它以给定的时间间隔从已配置的目标收集指标，评估规则表达式，显示结果，并在发现某些情况为真时触发警报。与其他监视系统相比，Prometheus的主要区别特征是：一个多维数据模型（时间序列由指标名称定义和设置键/值尺寸）一个灵活的查询语言来利用这一维度不依赖于分布式存储；单服务器节点是自治的时间序列收集通过HTTP上的拉模型进行通过中间网关支持推送时间序列
分类：
其他好文 时间：
2020-08-13 12:40:17
阅读次数：
56
通往集群的大门 集群由什么用? 高可用 高可用(High Availability)是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。 负载均衡 将流量均衡的分布在不同的 ...
分类：
其他好文 时间：
2020-08-13 12:29:31
阅读次数：
50
一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数 ...
分类：
其他好文 时间：
2020-08-13 12:16:47
阅读次数：
60
本文源码：GitHub·点这里||GitEE·点这里一、Cassandra简介1、基础描述Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，此后，由于Cassandra良好的可扩展性，逐渐发展成为了一种流行的分布式结构化数据存储方案。2、特点分析弹性可扩展性Cassandra是高度可扩展的;它允许添加更多的硬件以适应更多的客户和更多
分类：
数据库 时间：
2020-08-13 11:56:51
阅读次数：
74
笔者在做Jmeter压测时需要用到单机2000以上并发，考虑到windows下GUI的局限性，于是考虑在Jmeter下进行集群压测，分享如下：Linux下分布式部署：1、定义一台control，如把192.168.58.175定义为control，其他58.176，,5.177,58.178定义为agent，那么在58.175上的jmeter.properties文件里设置：remote_host
分类：
系统相关 时间：
2020-08-12 15:39:29
阅读次数：
73
全球性革命数据存储，HDFS即将上线在这个互联网时代，随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。分布式管理系统的最大的变化就是管理对象不再是单机本地分布的，而是分布于网络中。分布式系统同样要为用户提供对文件和目录的相关操作。那么分布式存储类型有哪些呢？HD
分类：
其他好文 时间：
2020-08-12 15:37:17
阅读次数：
61
