yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 ...
分类：
其他好文 时间：
2020-11-19 12:56:26
阅读次数：
17
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
导读 腾讯云数据库提供了可视化的运维操作页面和自动备份的能力，降低了数据库运维的门槛。同时云数据库还支持高可用架构，对数据的安全性和服务的可靠性更有保障。另外有的云数据库厂商还提供了诸如数据库审计、慢查询分析、数据回档等能力，大大减轻了数据库运维和 DBA 的工作量。 我司 CTO 和技术总监都是腾 ...
分类：
数据库 时间：
2020-11-13 13:08:46
阅读次数：
20
6种常用的架构设计模式（上）收录于话题#最近文章5个许多现代应用都需要在企业级规模上进行构建，有时甚至需要在互联网规模上进行构建。这些应用都需要满足可扩展性、可用性、安全性、可靠性和弹性需求。在本文中，我将谈论一些设计模式，这些模式可以帮助你轻松实现上述能力。我将讨论每个模式，他们如何在云原生环境中使用，以及何时使用和何时不使用。有些模式也并不是什么新发明，但它们在当前互联网规模的云世界中非常有用
分类：
其他好文 时间：
2020-11-13 12:41:29
阅读次数：
4
TCP的三次握手和四次握手TCP三次握手?在一些文化中，两个人见面时常常通过握手来问好。双方都把握手的行为理解为友好问候的信号。网络中的连接是类似的。第一次握手请求同步。第二次握手确认初始同步请求，并同步相反方向上的连接参数。第三次握手网段是一次确认，用于通知目标两端同意建立连接。?当两台主机采用TCP协议进行通信时，在交换数据前将建立连接。通信完成后，将关闭会话并终止连接。连接和会话机制保障了T
分类：
其他好文 时间：
2020-11-13 12:29:18
阅读次数：
3
数据在网络中随处流动，在这个流动的过程中都涉及到I/O问题，可以说大部分Web系统的瓶颈都是I/O瓶颈 Java 的I/O类库的基本架构 Java的I/O操作类都在包java.io下，大概有80多个类，基本上可以分为以下4类 基于字节操作的I/O接口：InputStream和OutputStream ...
分类：
编程语言 时间：
2020-11-11 16:42:06
阅读次数：
7
前言 在编写代码的过程中充分运用软件工程的思想是一个优秀程序员不可或缺的技能。一个优秀的程序应该具有良好的可靠性、容错性、易用性、易读性、可扩充性、可理解性和可维护性等等性能。为了达到这些要求，我们应该学会如何让自己编写的程序更加符合软件工程的思想，通过学习代码编写的规范和各种面向对象思想的实现方式 ...
分类：
微信 时间：
2020-11-08 16:52:15
阅读次数：
33
Flume概述官方文档：https://flume.apache.org/documentation.htmlFlume是一种分布式、高可靠和高可用的日志数据采集服务，可高效地收集、聚合和移动大量日志数据。它具有一种基于流数据的简单且灵活的体系结构。它具有健壮性和容错性，具有可调整的可靠性机制和许多故障切换和恢复机制。它使用一个简单的可扩展数据模型，允许在线分析应用程序。Flume架构及核心组件F
分类：
Web程序 时间：
2020-11-08 16:36:50
阅读次数：
26
该文转自：https://www.cnblogs.com/fiberhome/p/8275961.html 概述 随着硬盘容量、速度的快速发展，硬盘的可靠性问题越来越重要，今天的单块硬盘存储容量可轻松达到1TB，硬盘损坏带来的影响非常巨大。不同的文件系统(xfs,reiserfs,ext3,ext4 ...
分类：
其他好文 时间：
2020-11-07 16:07:33
阅读次数：
20
