亚马逊AWS官方博客 使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能 by AWS Localization | on 26 NOV 2019 | in AWS Big Data | Permalink | Share Ori ...
分类：
Web程序 时间：
2020-06-10 22:57:35
阅读次数：
109
Kafka多维度系统精讲，从入门到熟练掌握Kafka几乎是当今时代背景下数据管道的首选，无论你是做后端开发、还是大数据开发，对它可能都不陌生。可是市面上全面系统讲解Kafka的课程有多少呢？寥寥无几。本课从搭建开始，带你平滑上手。全面剖析Kafka，解读和使用核心API，并将底层实现和设计原理融合贯穿。同时注重结合案例，把原理落地。更有凝结老师心血的Kafka最佳配置方式推荐，以及面试常问知识点梳
分类：
其他好文 时间：
2020-06-10 14:45:08
阅读次数：
82
Kafka多维度系统精讲，从入门到熟练掌握Kafka几乎是当今时代背景下数据管道的首选，无论你是做后端开发、还是大数据开发，对它可能都不陌生。可是市面上全面系统讲解Kafka的课程有多少呢？寥寥无几。本课从搭建开始，带你平滑上手。全面剖析Kafka，解读和使用核心API，并将底层实现和设计原理融合贯穿。同时注重结合案例，把原理落地。更有凝结老师心血的Kafka最佳配置方式推荐，以及面试常问知识点梳
分类：
其他好文 时间：
2020-06-10 11:12:18
阅读次数：
50
实验环境 虚拟机数量：3 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Zookeeper版本：Apache zookeeper-3.4.10. HBase版本：Apache HBase 1.2.6 1.启动Hadoop集群 在master启动Hadoop ...
分类：
其他好文 时间：
2020-06-10 11:05:53
阅读次数：
63
一、概述 在调试Spark项目的时候报了一个包冲突异常，找了好长时间，最后发现是包冲突了；特此记录一下，原始报错找不到了。一般包冲突有个明显的特征就是报类找不到异常，可以根据提示把Spark冲突的包排除掉，然后再把其他的把单独加上去，就可以解决了。 Caused by: java.lang.Numb ...
分类：
其他好文 时间：
2020-06-10 10:57:05
阅读次数：
65
/** * 模拟数据 数据格式如下： * * 日期 卡口ID 摄像头编号 车牌号 拍摄时间 车速 道路ID 区域ID * date monitor_id camera_id car action_time speed road_id area_id * * monitor_flow_action * ...
分类：
其他好文 时间：
2020-06-09 20:34:37
阅读次数：
71
jar包：是用java写的一些类 用的话直接用就不用再写了 。直接用jar包方便许多。 maven：是用jar包的时候只用下载一次就行了 ，下次再用就不用再下载一遍了。 编程似乎在不断完善 ，没有人知道未来是啥。 我在 写spark：是hadoop的完善。因为map和reduce不够用 。 spar ...
分类：
其他好文 时间：
2020-06-08 20:48:36
阅读次数：
46
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类：
其他好文 时间：
2020-06-08 19:17:29
阅读次数：
88
1、KDC 添加用户 ，输入密码 HTTP@HADOOP.COM 2、客户机（linux），kerberos客户端安装 3、客户机（linux），kerberos客户端配置 4、关闭客户机防火墙 systemctl stop firewalld.service 5、配置客户机host文件 6、客户机 ...
分类：
其他好文 时间：
2020-06-08 12:55:03
阅读次数：
154
场景 使用Flink，从阿里云的AMQP中获取数据，然后直接写入到InfluxDB中。即： source：amqp sink：influxdb 环境 Linux：Centos8.0 Hadoop：2.8.3 Flink：1.10.0 Java：1.8.0_77 InfluxDB：1.7.1 Rock ...
分类：
编程语言 时间：
2020-06-08 10:48:29
阅读次数：
55
