1.1 flume（日志收集系统） 1.1.1 flume介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flu ...
分类：
Web程序 时间：
2019-08-14 12:53:23
阅读次数：
131
所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是 无法在较短时间内迅速解决 ，要么是数据太大，导致 无法一次性装入内存 。 处理海量数据的基本方法： 1. 分而治之/hash映射 + hash统计 + 堆/快速/归并排序； 2. 双层桶划分 3. ...
分类：
其他好文 时间：
2019-08-12 01:05:24
阅读次数：
104
辅助学习的学习心理 此系列文章用于解决面对海量的知识时，如何有效的吸收知识。 以前一直想系统化的整理一下这方面的思维，这得益于几年前我第一次接触到了哈佛的某人出版的一本高效学习的书。 时间长远忘记了书名，我将在学习思维这个领域中重新接触和整理，并推荐我读过的书。 希望此系列可以帮助大家进行低成本的学 ...
分类：
其他好文 时间：
2019-08-10 19:30:08
阅读次数：
70
1.微信小程序介绍 微信小程序，简称小程序，英文名Mini Program，是一种不需要下载安装即可使用的应用，它实现了应用“触手可及”的梦想，用户扫一扫或搜一下即可打开应用。 1.1. 为什么是微信小程序 ？ 微信有海量用户，而且粘性很高，在微信里开发产品更容易触达用户； 推广app 或公众号的成 ...
分类：
微信 时间：
2019-08-10 15:50:52
阅读次数：
230
为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？ 高可用性 Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步我们需要保 ...
分类：
其他好文 时间：
2019-08-09 19:07:09
阅读次数：
96
大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
概述 目前大数据存储有两种方案可供选择：行存储（Row-Based）和列存储（Column-Based）。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数... ...
分类：
其他好文 时间：
2019-08-07 17:39:20
阅读次数：
143
近日，人脸识别技术因多次在抓逃犯的过程中“立功”，再度走“红”。从20世纪60年代起，人脸识别研究开启，发展到今天有哪些进展？该产业里的竞争，是人工智能投资泡沫带来的浮躁，还是市场规模将持续突进？何谓人脸识别技术？20世纪60年代，人脸识别工程化应用研究正式开启。初期的方法主要利用了人脸的几何结构，通过分析人脸器官特征点及其之间的拓扑关系进行辨识。这种方法简单直观，但是一旦人脸姿态、表情发生变化，
分类：
其他好文 时间：
2019-08-01 09:24:56
阅读次数：
107
从海量数据中，查询出某一固定前缀的key 支持模糊查询，不保证每次执行都返回给定数量的元素 一次返回的元素不可控，只是大概率符合count参数 以0为游标，开始一次新的迭代，直到命令返回游标0完成一次遍历 基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程 Redis常用数据类型 1??Str ...
分类：
其他好文 时间：
2019-07-31 21:50:19
阅读次数：
112
IT知识架构客户冰箱+牛奶+模具=（结果）（雪糕）牛奶：数据存储：磁盘（共享）1.SAN,NAS,DAS（专门将数据存储于磁盘阵列）2.分布式存储架构（HDFS）---------集群（应用）Hadoop分布式文件系统冰箱：系统：Linux只有Linux系统可以承载大数据应用模具：1.map-reduces数据处理集群，它是将海量数据按照一定的方式，修改为键值关系HDFS+map-reduces=
分类：
其他好文 时间：
2019-07-31 11:22:38
阅读次数：
119
