背景 现在我们的数据量越来越来越大，往往会有短时间渲染大量数据的要求，但是往往这些数据过大难以实时处理，整体切片花费时间又过长。在这里提出一种缓存加实时处理的方案。 准备 软件环境，PostGIS(3.0 ...
分类：
其他好文 时间：
2019-10-26 13:17:17
阅读次数：
83
Celery 一 、什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统专注于实时处理的异步任务队列 同时也支持任务调度 1. Celery架构 的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task ...
分类：
其他好文 时间：
2019-10-25 00:05:26
阅读次数：
98
本文源码：GitHub·点这里||GitEE·点这里一、ClickHouse简介1、基础简介Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUPBY)，ClickHouse的查询速度非常快。2、数据分析能力OLAP场景特征·
分类：
数据库 时间：
2019-10-22 09:16:32
阅读次数：
122
Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 1 快写 快读 看下面的图： 传统应用是 硬件到缓存，到应用 再socket进行传输，再进行网络传输，再到用户， 而kafka实现了零拷贝，但是其实也是拷贝一次，将数据拷贝到内存中，，同时也是将数据顺序存入磁盘，这 ...
分类：
其他好文 时间：
2019-10-16 00:14:30
阅读次数：
101
首先要认识大数据 什么是大数据？可能有人会说写字楼的所有人的资料信息就是个大数据。NO！这里的数据只能说比较大，但却不能称之为大数据。百度百科上给出了很明确的解释“大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞 ...
分类：
其他好文 时间：
2019-10-12 14:42:31
阅读次数：
145
Kinesis Data Streams 高级别架构 下图演示 Kinesis Data Streams 的高级别架构。创建器会持续将数据推送到 Kinesis Data Streams，并且使用者 可实时处理数据。使用者（如在 Amazon EC2 上运行的自定义应用程序或 Amazon Kine ...
分类：
其他好文 时间：
2019-10-03 12:21:33
阅读次数：
132
恢复内容开始 一.基本概念 1.什么是storm？ storm是一个免费的开源分布式实时计算系统，流数据框架，可以轻松可靠地处理无限数据流，实现Hadoop为批处理所做的实时处理。 2.使用场景 实时分析，在线机器学习，连续计算。 流计算 3.特点 速度快，每秒每个节点可以处理超过百万个元组 具有可 ...
分类：
其他好文 时间：
2019-09-17 21:59:42
阅读次数：
122
在大数据的今天，世界上任何一台单机都无法处理大数据，无论cpu的计算能力或者内存的容量。必须采用分布式来实现多台单机的资源整合，来进行任务的处理，包括离线的批处理和在线的实时处理。 鉴于上次开会讲了语言模型的发展，从规则到后来的NNLM。本章的目的就是锻炼动手能力，在知道原理的基础上，通过采用MR范 ...
分类：
编程语言 时间：
2019-09-11 10:14:07
阅读次数：
114
也还是继续昨天的话题说吧。 纯手机手打，感觉有用麻烦点个赞。 开头还是那句话，spark是以批处理起家，发展流处理，所以微批处理吞吐优先，可以选用。 flink以实时处理起家，然后去做批处理，所以更适合实时性高的场景。 那么生产中真的都要求那么高的实时性吗？ 比如10wqps的数据，假如实时处理，采 ...
分类：
其他好文 时间：
2019-09-05 21:45:24
阅读次数：
133
目录 一、Celery使用指南 Celery使用指南 前言 Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。 它是一个专注于实时处理的任务队列，同时也支持任务调度。 1. 何为消息队列？ 任务队列是一种在线程或机器间分发任务的机制。 消息队列的输 ...
分类：
其他好文 时间：
2019-08-30 22:52:01
阅读次数：
982
