一、HDFS-HA集群配置 1.环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 2.规划集群 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalN ...
分类：
其他好文 时间：
2020-07-28 22:19:09
阅读次数：
77
透视函数其实就是我们excel中常用的数据透视表相似，先来看个例子。 以下是准备的数据源，数据是电商系统中用户的行为数据(浏览，收藏，加购，成交，评分等)，score为统计次数。 对应的字段分别为 租户id，用户id，商品编码Id，行为事件代码，当日统计次数，统计日期。 现在我们要转换成目标的数据是 ...
分类：
其他好文 时间：
2020-07-28 17:17:13
阅读次数：
131
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2020-07-28 14:21:17
阅读次数：
191
基于Request库进行搭建 Request: request库是用来发送HTTP请求，接收HTTP响应的一个python库 request库经常被用来，爬取，网站信息，用它来发起HTTP请求到网站，从HTTP响应消息中提取信息 request不是python的标准库，属于第三方库，需要进行安装：p ...
分类：
其他好文 时间：
2020-07-28 10:17:40
阅读次数：
140
Redis Redis的五大数据类型： String(字符串)：String是redis最基本的类型，一个key对应一个value；String类型是二进制安全的。 即redis的String可以包含任何数据。比如jpg图片或者序列化的对象;String类型是Redis最基本的数据类型，一个redi ...
分类：
其他好文 时间：
2020-07-28 00:29:42
阅读次数：
147
在企业工作中，企业若是拥有较多人数规模时，数据量是很大的并且更新的速度也挺快的，无论数据还是报表都需要协同管理不断更新。面对各大OA\ERP\CRM系统的数据，传统用Excel处理数据是支撑不住的，即使写SQL满足不了这样的需求。要想快速出报表，快速取数，快速做业务分析，需要开放的报表或BI分析工具。下面是小编整理出来的几款好用的BI报表工具，以供大家选择参考：1.SmartbiInsightSm
分类：
其他好文 时间：
2020-07-28 00:10:59
阅读次数：
359
摘要数据库拆分要根据业务现状、模式，选择合适的拆分方式，紧密结合业务及应用架构设计，谨慎拆分，防止过度设计。正文一、为什么要做分布式数据库架构改造？云计算大数据时代，传统的数据库架构已经无法支撑企业高容量的数据增长，满足高并发的业务需求。对企业数据库进行分布式架构设计，打破了数据库资源不够用的天花板的同时，还能根据企业业务发展状况，随时平滑扩容。二、分布式数据库架构改造，如何做？数据库分布式改造要
分类：
数据库 时间：
2020-07-28 00:10:44
阅读次数：
105
一、简介 在每个节点（driver和executor）上运行的管理器，该接口提供用于在本地和远程将block放置和检索到各种存储（内存，磁盘和堆外）的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类：
其他好文 时间：
2020-07-27 23:41:12
阅读次数：
73
近些年，无人化定义慢慢被应用到社会中的各个行业，愈来愈多与物流有关的无人仓、小型无人机等新设施也刚开始投入到具体应用之中。伴随着工业生产过程的加速，人工智能、互联网大数据、智能机器人等技术正在迅速刺激着物流仓储行业的智能转型。那么，智慧物流仓储“智”在哪儿？一、智慧物流减轻传统式仓储困扰智能仓储的成功离不了人工智能等技术的全力促进。近些年，无人化这一定义慢慢被应用到社会发展中的不同行业，而跟物流相
分类：
其他好文 时间：
2020-07-27 23:37:33
阅读次数：
187
尚硅谷大数据技术之HBase (作者：尚硅谷大数据研发部) 版本：V1.2 第1章 HBase简介 1.1 什么是HBase HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hb ...
分类：
其他好文 时间：
2020-07-27 16:06:52
阅读次数：
97
