我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。 ...
分类：
编程语言 时间：
2021-01-19 11:58:35
阅读次数：
0
#Version=V1.1_20200706#!/bin/shexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/mnt/APP/Libraries/GeneralLibs/xdja/export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/mn ...
分类：
其他好文 时间：
2021-01-19 11:47:18
阅读次数：
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
主程序处于一个阻塞状态的事件循环中等待事件，当有事件发生时，根据事件的属性分发到相应的处理函数进行处理。事件以并发的方式发送到服务处理器，服务处理器将事件整合到一个有序队列中，并分发到具体的请求处理器进行处理 Redis程序的整个运作都是围绕事件循环进行的，事件循环eventloop同时监控多个事件 ...
分类：
其他好文 时间：
2021-01-18 10:52:32
阅读次数：
0
变电站综合自动化系统是一种以计算机为主，将变电站的一、二次设备（包括测量、信号、控制、保护、自动、远动等）经过功能组合形成的标准化、模块化、网络化的计算机监控系统。变电站综合自动化，是将变电站的二次设备经过功能的重新组合和优化设计，利用先进的计算机技术、自动化技术和通信技术，实现对全变电站的主要设备 ...
分类：
其他好文 时间：
2021-01-16 12:10:02
阅读次数：
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR，那么调用Hadoop的maprecude来运行需要执行的job的程序； 如果设置执行引擎为spark，那么就会调用spark来执行任 ...
分类：
其他好文 时间：
2021-01-15 12:15:21
阅读次数：
0
解决Hadoop HA集群 NameNode 无法自动故障转移（切换active） 在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类：
其他好文 时间：
2021-01-15 12:13:12
阅读次数：
0
对比监控出现性能毛刺时间点的GC日志和业务日志，发现JVM停顿了较长时间，且停顿时GC日志中有大量的“Allocation Stall”日志。 原因就是堆内存被占满，导致部分线程阻塞，如下图中的 High used已经达到100% 解决办法： 1.最直接有效的办法就是增加堆大小 2.增加jvm参数 ...
分类：
其他好文 时间：
2021-01-14 10:54:13
阅读次数：
0
在Spring框架中，使用AOP配合自定义注解可以方便的实现用户操作的监控。首先搭建一个基本的Spring Boot Web环境开启Spring Boot，然后 引入必要依赖： <dependency> <groupId>org.springframework.boot</groupId> <art ...
分类：
数据库 时间：
2021-01-13 10:42:50
阅读次数：
0
前言 ? 操作系统以及Mysql数据库的实时性能状态数据尤为重要，特别是在有性能抖动的时候，这些实时的性能数据可以快速帮助你定位系统或Mysql数据库的性能瓶颈，镜像你在Linux系统上使用top、iostat等命令工具一样，可以立刻定位OS的性能瓶颈是在I/O还是CPU上，所以手机和展示这些性能数 ...
分类：
数据库 时间：
2021-01-12 11:16:42
阅读次数：
0
