大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
1. 拉取elasticsearch7.6.0镜像： sudo docker pull elasticsearch:7.6.0 2. 输入命令，构建容器： sudo docker run --name es1 -e 'discovery.type=single-node' --network=myn ...
分类：
其他好文 时间：
2021-03-17 14:02:05
阅读次数：
0
本文主要讲解了由华为主导的MindSpore开源AI训练框架的基本特性与容器化的安装方案，顺带也介绍了一下Docker的基本使用方法，最后用两个测试案例：Tensor的基本运算、自动微分计算来验证了MindSpore的基本特性。 ...
分类：
其他好文 时间：
2021-03-16 13:51:22
阅读次数：
0
1:修改/etc/docker/daemon.json文件 { "registry-mirrors": [ "https://kfwkfulq.mirror.aliyuncs.com", "https://2lqq34jg.mirror.aliyuncs.com", "https://pee6w65 ...
分类：
其他好文 时间：
2021-03-16 13:49:07
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
1、说明： docker容器化部署是非常流行的，Java应用如果要运行在docker环境，就要制作包含该应用的docker镜像，可以手动使用dockerfile和docker-compose制作镜像，也可以使用插件docker-maven-plugin和jib-maven-plugin制作镜像；本文 ...
分类：
其他好文 时间：
2021-03-16 11:55:21
阅读次数：
0
数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈，ABtest等等 OLAP（On-Line Analytical Processing）：在线分析处理，主要用于支持企业决策管理分析。 ...
分类：
其他好文 时间：
2021-03-16 11:54:33
阅读次数：
0
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类：
编程语言 时间：
2021-03-15 11:32:26
阅读次数：
0
1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 ...
分类：
其他好文 时间：
2021-03-15 11:29:44
阅读次数：
0
