漫画：什么是MapReduce？点击上方“程序员小灰”，选择“置顶公众号”有趣有内涵的文章第一时间送达！—————第二天—————————————————什么是MapReduce？MapReduce是一种编程模型，其理论来自Google公司发表的三篇论文（MapReduce，BigTable，GFS）之一，主要应用于海量数据的并行计算。MapReduce可以分成Map和Reduce两部分理解。1.
分类：
其他好文 时间：
2020-11-20 11:20:39
阅读次数：
5
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
一、缘起（1）并发量大，流量大的互联网架构，一般来说，数据库上层都有一个服务层，服务层记录了“业务库名”与“数据库实例”的映射关系，通过数据库连接池向数据库路由sql语句以执行：如上图：服务层配置用户库user对应的数据库实例物理位置为ip（其实是一个内网域名）。（2）随着数据量的增大，数据要进行水平切分，分库后将数据分布到不同的数据库实例（甚至物理机器）上，以达到降低数据量，增强性能的扩容目的：
分类：
数据库 时间：
2020-11-18 13:09:39
阅读次数：
15
一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。对于version+ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的“常用手
分类：
其他好文 时间：
2020-11-18 13:05:44
阅读次数：
10
尚硅谷大数据项目实战之在线教育（01数仓需求） (作者：尚硅谷大数据研发部) 版本：V1.0 第1章 数据仓库概念 数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 数据仓库是出于分析报告和决策支持目的而创建的，为需要业务智能的企业，提供指导业务流程改进、监控时间、成本、质量 ...
分类：
其他好文 时间：
2020-11-18 12:30:57
阅读次数：
5
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
编译Ranger源码首先准备好Java和Maven环境：[root@hadoop01~]#java-versionjavaversion"1.8.0_261"Java(TM)SERuntimeEnvironment(build1.8.0_261-b12)JavaHotSpot(TM)64-BitServerVM(build25.261-b12,mixedmode)[root@hadoop01~]#
分类：
Web程序 时间：
2020-11-18 12:13:58
阅读次数：
19
RD：单库数据量太大，数据库扛不住了，我要申请一个数据库从库，读写分离。DBA：数据量多少？RD：5000w左右。DBA：读写吞吐量呢？RD：读QPS约200，写QPS约30左右。上周在公司听到两个技术同学讨论，感觉对读写分离解决什么问题没有弄清楚，有些奔溃。另，对于互联网某些业务场景，并不是很喜欢数据库读写分离架构，一些浅见见文末。一、读写分离什么是数据库读写分离？答：一主多从，读写分离，主动同
分类：
数据库 时间：
2020-11-17 13:03:37
阅读次数：
27
1、大数据有哪些特点？ valume(大量） velocity（高速） variety（多样） value（低价值密度） 2、什么是大数据？ 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类：
其他好文 时间：
2020-11-16 13:51:20
阅读次数：
9
Python基础自测题答案解析原创人工智能与算法学习人工智能与算法学习2019-07-21单选题选A。Python函数必须有参数，通常由形式参数和实际参数构成，例如defmyfunction(name):print(name)myfunction（“生鱼片”）生鱼片选B。注意这里的V是大写。选B。Python中的标识符不能以数字开头。选D。.%2f保留两位有效数字。选D。Python是一门动态语言
分类：
编程语言 时间：
2020-11-16 13:28:16
阅读次数：
14
