承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类：
其他好文 时间：
2020-05-19 01:07:50
阅读次数：
53
多线程 35. 并行和并发有什么区别？ 并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的目 ...
分类：
编程语言 时间：
2020-05-19 00:57:50
阅读次数：
61
大数据实践（一） Hadoop单机搭建（Ubuntu） 前置环境及工具： Ubuntu 16 VirtualBox Hadoop 2.7.3 xftp6 jdk1.8 [TOC] 1、VirtualBox环境准备 001、设置网卡 双网卡：选择桥接模式与仅主机模式。 保证主机与虚拟机之间相互ping ...
分类：
系统相关 时间：
2020-05-19 00:41:06
阅读次数：
78
错误思想 举个列子，当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable 转换为 list，然后sortby,但是这样却有一个致命的缺点，就是Iterabl ...
分类：
编程语言 时间：
2020-05-18 20:48:21
阅读次数：
83
通用监控指标 对于每个RPC服务应该监控 RpcProcessingTimeAvgTime(PRC处理的平均时间) 通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间 CallQueueLength(RPC Call队列的长 ...
分类：
其他好文 时间：
2020-05-18 20:44:08
阅读次数：
170
MongoDB / ElasticSearch: 文档数据库一般用类JSON格式存储数据，存储的内容是文档型的 HBase: 按列存储数据的。最大特点是方便存储结构化和半结构化数据，方便做数据压缩，针对某一列或某几列的查询有非常大的I/O优势，适合于批量数据处理和即时查询。 Redis： 通过key ...
分类：
其他好文 时间：
2020-05-18 18:31:48
阅读次数：
59
1. 4种运行模式概述图 1）本地(local)模式，用于开发测试 2）Standalone是Spark自带的，如果一个集群是Standalone的话，那么就需要在多台机器上同时部署spark环境，只要修改一台机器配置，就要同步到所有的机器上去，比较麻烦，生产环境中不采取。 3） Yarn生成环境下 ...
分类：
其他好文 时间：
2020-05-18 18:12:35
阅读次数：
67
Hive产生背景： mapreduce编程的不便性 HDFS上的文件缺少Schema Hive Facebook开源的，最初用于海量结构化的日志数据统计问题 构建在hadoop之上的数据仓库 hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于离线数据处理（采用mapred ...
分类：
其他好文 时间：
2020-05-18 16:01:16
阅读次数：
183
朱雀的部分题目 : https://github.com/peri0d/wangding_zhuque 九宫格 附件给了一堆图片，扫描之后得到的结果都是zero或者one，写个脚本获取识别之后的二进制串，然后每8位可以读取为一个ascii字符 这个脚本运行的有点慢，快的脚本等大师傅们都发了再发 =. ...
分类：
其他好文 时间：
2020-05-18 15:54:14
阅读次数：
327
https://www.cnblogs.com/kisf/p/7494203.html kerberos相关： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 ...
分类：
其他好文 时间：
2020-05-18 15:53:51
阅读次数：
54
