1. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数 ...
分类：
其他好文 时间：
2019-12-27 13:08:13
阅读次数：
92
本文源码： "GitHub·点这里" || "GitEE·点这里" 一、数据场景 1、表结构简介 任何工具类的东西都是为了解决某个场景下的问题，比如Redis缓存系统热点数据，ClickHouse解决海量数据的实时分析，MySQL关系型数据库存储结构化数据。数据的存储则需要设计对应的表结构，清楚的表 ...
分类：
数据库 时间：
2019-12-27 09:54:12
阅读次数：
74
概述HBase是谷歌公司BigTable的开源实现。BigTable是一个分布式存储系统，利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据，使用谷歌分布式文件系统GFS作为底层数据存储，并采用Chubby提供协同服务管理，可以扩展到PB级别的数据和上千台机器，具备广泛应用型、可扩展性... ...
分类：
其他好文 时间：
2019-12-26 11:13:14
阅读次数：
155
Hadoop Distributed File System：分布式文件系统。 HDFS基于流数据模式访问和处理超大文件需求开发，具有高容错性，高可靠性，高可扩展性，多部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问，便利了海量数据的处理介绍假设和目标硬件故障：检测故障并从中快速恢复流... ...
分类：
其他好文 时间：
2019-12-25 23:59:16
阅读次数：
161
一、为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？ （1）高可用性 Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步 ...
分类：
其他好文 时间：
2019-12-25 15:44:09
阅读次数：
54
微服务是当下最流行的应用架构技术了，它跟容器服务、DevOps合称云时代的三剑客，可以帮我们化解业务发展过快导致的产品迭代压力，让我们可以自由选择最适合团队的技术栈，让系统能够承载互联网海量用户的访问，让我们可以更加轻松地运维大型的互联网系统。近些年在厂商、社区和用户等各方努力推动下，微服务相关的理... ...
分类：
其他好文 时间：
2019-12-25 13:11:58
阅读次数：
112
随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内)，以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，由于元数据膨胀，在扩展性和性能方面均存在严重问题。为了解决HDFS在小文件存储方面的问题，通常的做法是先将很
分类：
其他好文 时间：
2019-12-24 09:51:12
阅读次数：
72
近些年，国产芯片不断迅猛发展，CPU 处理器有龙芯、飞腾等竞技，而有了硬件，更要有系统和软件生态，这方面的进展也值得肯定。
Kydroid 是麒麟团队和技德系统为“银河麒麟操作系统”打造的一款完全原生、高兼容性的安卓运行环境，2018 年 6 月发布 1.0 正式版，现在全新的 kydroid 2.0 正式版来了！
国产系统内核基本都基于 Linux，好处是开源灵活，但缺陷就是应用
分类：
移动开发 时间：
2019-12-23 10:31:22
阅读次数：
99
背景消息报表主要用于统计消息任务的下发情况。比如，单条推送消息下发APP用户总量有多少，成功推送到手机的数量有多少，又有多少APP用户点击了弹窗通知并打开APP等。通过消息报表，我们可以很直观地看到消息推送的流转情况、消息下发到达成功率、用户对消息的点击情况等。个推在提供消息推送服务时，为了更好地了解每天的推送情况，会从不同的维度进行数据统计，生成消息报表。个推每天下发的消息推送数巨大，可以达到数
分类：
其他好文 时间：
2019-12-23 10:21:46
阅读次数：
286
网站应用背景 开发一个网站的应用程序，当用户规模比较小的时候，使用简单的：一台应用服务器+一台数据库服务器+一台文件服务器，这样的话完全可以解决一部分问题，也可以通过堆硬件的方式来提高网站应用的访问性能，当然，也要考虑成本的问题。 当问题的规模在经济条件下通过堆硬件的方式解决不了的时候，我们应该通过 ...
分类：
Web程序 时间：
2019-12-23 00:27:09
阅读次数：
85
