Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa：查看安装的所有 rpm 软件包 grep -i ：忽略大小写 ...
分类：
系统相关 时间：
2021-03-29 12:39:22
阅读次数：
0
我们之前研究过Code First的一个小小的案例，但是只是用了单数据库。 今天还是来做一个mysql sqlserver同时能使用的一个案例 需要工具 1.VS2019 core3.1 2.脑子一个 3.虚拟机windows server,Centos7 引入EF Code 新建一个用户实体类(我 ...
分类：
数据库 时间：
2021-03-29 12:11:53
阅读次数：
0
一、pd.read_html 参数 函数参数 pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, thousa ...
分类：
Web程序 时间：
2021-03-29 11:50:10
阅读次数：
0
1. awk命令解析： awk是一个强大的文本分析工具，相对于grep的查找，sed编辑，awk在其对数据分析并生成报告时，显得尤为强大；简单来说，awk就是把文件逐行的读入，（空格，制表符）为默认分隔符将每行切片，切开的部分再进行各种分析处理。 2.用法总览： 3.实例展示： （1） （2） （3 ...
分类：
其他好文 时间：
2021-03-18 14:38:55
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
Sql Server提供的计算列是一个虚拟的列，通常情况下该列的值是由表中的其它列计算得出的。默认情况下，它不占用磁盘容量，因为这些计算列的值都是根据我们指定的表达式动态计算出来的，只有查询的时候才会被计算出来。然而，使用了PERSISTED关键字的计算列，会将表达式的计算结果值写入到磁盘中，进一步 ...
分类：
数据库 时间：
2021-03-17 14:01:24
阅读次数：
0
本文主要讲解了由华为主导的MindSpore开源AI训练框架的基本特性与容器化的安装方案，顺带也介绍了一下Docker的基本使用方法，最后用两个测试案例：Tensor的基本运算、自动微分计算来验证了MindSpore的基本特性。 ...
分类：
其他好文 时间：
2021-03-16 13:51:22
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类：
编程语言 时间：
2021-03-15 11:32:26
阅读次数：
0
