大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 19:57:01
阅读次数：
24
Node.js发送请求，需要用到request这个模块 request官网 导入 npm install request --save import * as requestHttp from 'request'; get 请求 @Get('/xxxxx') async getImage(@Req( ...
分类：
Web程序 时间：
2020-09-17 19:50:17
阅读次数：
51
1、安装 mariadb-install-db.exe mysqld install 2、修改utf8编码 [mysqld] default-storage-engine = innodb innodb_file_per_table max_connections = 4096 collation- ...
分类：
数据库 时间：
2020-09-17 19:21:40
阅读次数：
38
一、Map端的主要工作 为来自不同表或文件的key/value对，打标签以区别不同来源的记录。 然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 二、Reduce端的主要工作 在Reduce端以连接字段作为key的分组已经完成， 我们只需要在每一个分组当中将那些来源于不同 ...
分类：
其他好文 时间：
2020-09-17 19:03:58
阅读次数：
23
在日常变更过程中，变更前会注释某些定时任务(比如巡检告警等)，变更完成后需恢复，有时变更操作的服务器很多，对应需要注释的crontab也很多且不相同，本文通过分发平台执行对应脚本批量实现crontab的注释和解注释功能。
分类：
其他好文 时间：
2020-09-17 18:47:16
阅读次数：
39
Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
1.安装scrapy框架 # 1.在安装scrapy前需要安装好相应的依赖库，再次装scrapy，安装步骤 (1).安装lxml库：pip install lxml (2).安装wheel: pip install wheel (3).安装twisted：pip install twisted 文件 ...
分类：
其他好文 时间：
2020-09-17 18:12:08
阅读次数：
20
1 清空缓存 cnpm cache clean --force 2 你成功了 3 删除node_modules 4 cnpm i 重新安装依赖 5 vans ...
分类：
Web程序 时间：
2020-09-17 17:58:44
阅读次数：
61
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
1.首先安装memcached安装包。 首先下载memcached,下载地址 (我下载的是 64位系统 1.4.4版本) 下载好了以后,放到随便一个硬盘位置比如 D:\memcached 然后打开CMD命令窗口输入 输入"D:\memcached\memcached.exe -d install"安 ...
