简介 Twitter 早期用 MySQL 存储数据，随着用户的增长，单一的 MySQL 实例没法承受海量的数据，后来团队就研究如何产生完美的自增ID，以满足两个基本的要求： 每秒能生成几十万条 ID 用于标识不同的 记录； 这些 ID 应该可以有个大致的顺序，也就是说发布时间相近的两条记录，它们的 ...
分类：
编程语言 时间：
2019-10-26 17:21:55
阅读次数：
83
背景 现在我们的数据量越来越来越大，往往会有短时间渲染大量数据的要求，但是往往这些数据过大难以实时处理，整体切片花费时间又过长。在这里提出一种缓存加实时处理的方案。 准备 软件环境，PostGIS(3.0 ...
分类：
其他好文 时间：
2019-10-26 13:17:17
阅读次数：
83
大数据具体是什么意思？虽然都知道高薪，但如何学习大数据呢？有哪些学习路径和方法？今天我们就来具体看一下大数据是什么？来看看维基百科的定义大数据（英语：Bigdata或Megadata），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集相比，将各个小型数据集合
分类：
其他好文 时间：
2019-10-25 12:55:15
阅读次数：
88
1)、实时应用：如在线聊天，实时通知推送等等（如socket.io） 2)、分布式应用：通过高效的并行I/O使用已有的数据 3)、工具类应用：海量的工具，小到前端压缩部署（如grunt），大到桌面图形界面应用程序 4)、游戏类应用：游戏领域对实时和并发有很高的要求（如网易的pomelo框架） 5)、 ...
分类：
Web程序 时间：
2019-10-23 11:25:58
阅读次数：
144
结构介绍 MapReduce是Hadoop提供的一种处理海量数据的并行编程模型和计算框架，用于对大规模的数据进行并行计算。主要由ResourceManager和NodeManager两类节点构成。 ResourceManager主要负责集群资源管理，NodeManager负责节点的资源管理。 当运行 ...
分类：
其他好文 时间：
2019-10-23 11:15:46
阅读次数：
92
阿里巴巴的iconfont是一个很好的图标库，海量的素材可以快速满足开发人员日常对图标的诉求，我们采用symbol引用，官方介绍 创建SvgIcon组件 创建icons文件夹 src跟目录下创建icons文件夹，里面创建svg文件夹和index.js文件 image.png image.png sv ...
分类：
其他好文 时间：
2019-10-22 22:09:29
阅读次数：
237
本文源码：GitHub·点这里||GitEE·点这里一、ClickHouse简介1、基础简介Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUPBY)，ClickHouse的查询速度非常快。2、数据分析能力OLAP场景特征·
分类：
数据库 时间：
2019-10-22 09:16:32
阅读次数：
122
IO 一直是软件开发中的核心部分之一，伴随着海量数据增长和分布式系统的发展，IO 扩展能力愈发重要。幸运的是，Java 平台 IO 机制经过不断完善，虽然在某些方面仍有不足，但已经在实践中证明了其构建高扩展性应用的能力。 今天我要问你的问题是，Java 提供了哪些 IO 方式？ NIO 如何实现多路 ...
分类：
编程语言 时间：
2019-10-22 00:58:48
阅读次数：
123
大数据特征（5V） Velocity（快速的数据流转） Veracity（精准可信赖的大数据） Variety（多样的数据类型） Volume（海量的数据规模） Value（数据价值密度相对较低） 大数据架构 HDFS服务功能 NameNode NameNode是主节点，存储文件的元数据，如文件名， ...
分类：
其他好文 时间：
2019-10-21 16:21:39
阅读次数：
104
概述hadoop主要是用于应对海量数据的存储和计算的，前面hdfs文件系统，则重点是用于海量数据的存储。那么有了这么多数据，我们又该怎么在这些数据里面来提取我们需要的信息呢？这个时候hadoop中出现了一个非常重要的成员MapReduce。MapReduce是一种编程模型，用于大规模数据集(大于1T... ...
分类：
其他好文 时间：
2019-10-21 00:07:46
阅读次数：
95
