? 如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据，都不好意思说自己是在IT圈混的。我敢打赌，你在中关村西二旗地铁站溜一圈，保准你会听到如下名词：Had ...
分类：
其他好文 时间：
2020-06-20 23:54:38
阅读次数：
100
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
使用roles实现一键部署rsync 环境 主机名 wanIP lanIP 服务 角色 m01 10.0.0.61 172.16.1.61 Ansible 控制端 backup 10.0.0.41 172.16.1.41 rsync服务端 被控端 web01 10.0.0.7 172.16.1.7 ...
分类：
其他好文 时间：
2020-06-19 20:44:49
阅读次数：
53
使用roles实现一键部署nfs 环境准备 主机名 安装服务 wan lan web01 nfs客户端 10.0.0.7 172.16.1.7 web02 nfs客户端 10.0.0.8 172.16.1.8 nfs nfs服务端 10.0.0.9 172.16.1.9 backup backup服 ...
分类：
其他好文 时间：
2020-06-19 20:34:09
阅读次数：
47
https://blog.csdn.net/u012102306/article/details/51637366 /bin/spark-submit \ --master yarn-cluster \ --num-executors 100 \ --executor-memory 6G \ --e ...
分类：
其他好文 时间：
2020-06-19 12:03:23
阅读次数：
58
原始RDD或数据集中的每一个分区都映射一个或多个数据文件， 该映射是在文件的一部分或者整个文件上完成的。 Spark Job RDD/datasets在执行管道中，通过根据分区到数据文件的映射读取数据输入到RDD/dataset。 如何根据某些参数确定spark的分区数？ 影响数据分区数的参数： ( ...
分类：
其他好文 时间：
2020-06-18 13:16:01
阅读次数：
66
背景介绍开发人员最喜欢做的事情是直接通过IDE管理发布代码，AWSToolkit可以让开发人员将应用程序直接发布到AWS的云平台，并轻松实现部署调用与开发，并通过ElasticBeanstalk堆栈实现应用程序的一键部署，代码版本管理，数据库管理，负载均衡与自动扩展等。AWSElasticBeanstalk是一项易于使用的服务，用于在熟悉的服务器（例如Apache、Nginx、Passenger和
分类：
Web程序 时间：
2020-06-17 10:27:31
阅读次数：
64
1.在使用Spark的 sum() 算子经常遇到结果被自动转化为科学技术 如何正常显示呢 假如 n结果会是一个科学计数法 val n=data.map(x=>x.toInt).sum() 然后我们 val a = BigDecimal(n) println(a) 这样打印出来的结果就是正常的大数 ...
分类：
其他好文 时间：
2020-06-16 10:24:45
阅读次数：
95
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
基本思想 与flink流的join原理不同的是，Spark双流join是对俩个流做满外连接 ，因为网络延迟等关系，不能保证每个窗口中的数据key都能匹配上，这样势必会出现三种情况：（some，some），（None，some），（Some,None）,根据这三种情况，下面做一下详细解析： （some ...
分类：
其他好文 时间：
2020-06-15 21:21:14
阅读次数：
156
