运行spark时提示如下信息： hadoop@MS-YFYCEFQFDMXS:/home/trp$ cd /usr/local/spark hadoop@MS-YFYCEFQFDMXS:/usr/local/spark$ ./bin/pyspark env: ‘python’: No such fi ...
分类：
编程语言 时间：
2020-07-19 23:47:58
阅读次数：
111
4 WritableComparable排序 1．排序的分类 2．自定义排序WritableComparable （1）原理分析 bean对象做为key传输，需要实现WritableComparable接口重写compareTo方法，就可以实现排序。 @Override public int com ...
分类：
其他好文 时间：
2020-07-19 23:23:07
阅读次数：
67
7 Combiner合并 （6）自定义Combiner实现步骤 （a）自定义一个Combiner继承Reducer，重写Reduce方法 public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritabl ...
分类：
其他好文 时间：
2020-07-19 23:19:55
阅读次数：
69
MapTask工作机制 MapTask工作机制如图4-12所示。 图4-12 MapTask工作机制 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给 ...
分类：
其他好文 时间：
2020-07-19 23:10:43
阅读次数：
67
1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。 图4-19 ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。 （2）Merge ...
分类：
其他好文 时间：
2020-07-19 23:09:27
阅读次数：
72
1. 环境准备 说明：本次集群搭建使用系统版本Centos 7.5 ，软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器，具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode、NodeManager、NameNode hadoop02 10.0.0 ...
分类：
其他好文 时间：
2020-07-19 16:31:06
阅读次数：
63
在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 ...
分类：
其他好文 时间：
2020-07-19 16:25:43
阅读次数：
67
以Python撰写AI模型框架by高焕堂前言：在AI(人工智慧)方面，由于当今的机器学习本质是一种<大数据相关性支撑的>归纳性推理。软体框架的复用(Reuse)性愈高，对于应用开发的帮助愈大。因此，在AI领域里，软体框架魅力将会大放异彩。在本文里，是基于最简单的Perceptron模型来阐述如何分析、设计及实作一个框架和API。在本节里，将优化这个AI模型，让它从线性分类，提升到非线性
分类：
编程语言 时间：
2020-07-19 11:27:56
阅读次数：
62
什么是MyCat*一个彻底开源的，面向企业应用开发的大数据库集群*支持事务、ACID、可以替代MySQL的加强版数据库*一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群*一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQLServer*结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品*一个新颖的数据库中间件产品为什么使用MyCat如今随着互联网的发展，
分类：
数据库 时间：
2020-07-19 11:27:26
阅读次数：
86
在配置hadoop集群时，时间同步是必须要做的，否则会出现各种意想不到的问题。 hadoop102 为 ntp server，hadoop103以及hadoop104 为ntp client（即需要同步时间机器） 1.全部机器都要安装ntp以及ntpdate sudo apt-get install ...
分类：
系统相关 时间：
2020-07-18 16:09:18
阅读次数：
143
