脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
https://blog.csdn.net/u012102306/article/details/51637366 /bin/spark-submit \ --master yarn-cluster \ --num-executors 100 \ --executor-memory 6G \ --e ...
分类：
其他好文 时间：
2020-06-19 12:03:23
阅读次数：
58
顺序执行、选择执行、管道、cut 命令、grep 命令、wc 命令、sort 命令等，高效率使用 Linux 的技巧 顺序执行 只需要在命令间加; sudo apt-get update;sudo apt-get install some-tool 选择执行 另一种是要修上一条执行成功才执行下一条， ...
分类：
系统相关 时间：
2020-06-18 22:01:17
阅读次数：
69
原始RDD或数据集中的每一个分区都映射一个或多个数据文件， 该映射是在文件的一部分或者整个文件上完成的。 Spark Job RDD/datasets在执行管道中，通过根据分区到数据文件的映射读取数据输入到RDD/dataset。 如何根据某些参数确定spark的分区数？ 影响数据分区数的参数： ( ...
分类：
其他好文 时间：
2020-06-18 13:16:01
阅读次数：
66
答: 往~/.tmux.conf添加以下内容: set -g history-limit 5000 (默认为2000行，这里设置为5000行) 扩展: 如何使其生效? 退出旧的session,重新开启新的session即可生效 如果退出旧的session还不生效,那么直接执行以下命令，再重新开启新的 ...
分类：
其他好文 时间：
2020-06-18 12:43:10
阅读次数：
54
摘自 ：https://blog.csdn.net/ssdnif/article/details/103856283 官方提供的配置<?xml version="1.0" encoding="UTF-8"?><configuration> <system.webServer> <rewrite> < ...
分类：
其他好文 时间：
2020-06-18 10:32:24
阅读次数：
48
window.history.go(-1); //返回上一页 window.history.back(); //返回上一页 window.location.go(-1); //刷新上一页 window.history.back();location.reload();//强行刷新(返回上一页刷新页面 ...
分类：
编程语言 时间：
2020-06-16 18:36:10
阅读次数：
220
一、 整个测试框架只要分为6部分，分别是：python安装、easy_install安装、pip安装、Robotframework安装、wxpython安装、ride的安装。 二、 Python安装 目前robotframework 整个测试框架支持Python2和Python3的安装，根据个人要求 ...
分类：
其他好文 时间：
2020-06-16 18:26:32
阅读次数：
68
1.在使用Spark的 sum() 算子经常遇到结果被自动转化为科学技术 如何正常显示呢 假如 n结果会是一个科学计数法 val n=data.map(x=>x.toInt).sum() 然后我们 val a = BigDecimal(n) println(a) 这样打印出来的结果就是正常的大数 ...
分类：
其他好文 时间：
2020-06-16 10:24:45
阅读次数：
95
