今天MR的数据源很可能出现了问题，正常每天对方服务器会推过来2.1TB数据，今天只有1.6TB。 过来是gz压缩包，FTP的方式推送，进来之后我这边的程序进行解析，并存入HDFS。 对端的工程师只能看到压缩包目录的大小，看不到压缩前文件总大小，商量了一下，觉得不好对比数据一致性，想排查数据量问题，没 ...
分类：
其他好文 时间：
2020-07-17 09:40:37
阅读次数：
123
top Top命令用于按一定的顺序显示所有正在运行而且处于活动状态的实时进程，而且会定期更新显示结果。这条命令显示了CPU的使用率、内存使用率、交换内存使用大小、高速缓存使用大小、缓冲区使用大小，进程PID、所使用命令以及其他。它还可以显示正在运行进程的内存和CPU占用多的情况。对系统管理员来说，t ...
分类：
系统相关 时间：
2020-07-16 21:26:41
阅读次数：
81
一.错误现象 1.1 问题描述 springboot使用双数据源：本意是从第一个数据库中查询导数据然后加入另外一个数据库，代码一切正常后运行结果如下报错， 仔细一排查发现数据是查询到的，说明是入数据的库出问题了，结果发现我之前连接的时候是用'localhost'去连接的，在项目中配置成ip就不行了， ...
分类：
数据库 时间：
2020-07-16 18:27:51
阅读次数：
78
在平时开发过程中，对于线上问题的排查以及系统的优化，免不了和Linux进行打交道。每逢大促和双十一，对系统的各种压测性能测试，优化都是非常大的一次考验。抽空整理了一下自己在线上问题排查以及系统优化的一些经验。 一、系统性能瓶颈在哪 我们常常提到项目的运行环境，那么运行环境包括哪些呢？一般包括你的操作 ...
分类：
编程语言 时间：
2020-07-15 15:51:13
阅读次数：
74
目前为止大部分国内的用户都是使用Windows系统的比较多，但是也不乏使用linux的系统用户。不过目前很多用户使用linux系统时大部分命令都还是不太了解的。而且如果是机器出现问题的话需要到什么文件下查看日志来排查呢？下面来给大家讲解下以美国代理服务器的linux系统为例的查看linux系统日志文件介绍。/var/log/lastlog:记录每个使用者最近签入系统的时间,因此当使用者签入时,就会
分类：
系统相关 时间：
2020-07-15 12:52:26
阅读次数：
88
error1 当浏览器访问图片服务器时，nginx的error.log报下面的错 [2020-07-14 22:20:30] ERROR - file: /home/ubuntu/software/fastdfs-nginx-module-1.22/src/common.c, line: 1101, ...
分类：
其他好文 时间：
2020-07-15 01:31:22
阅读次数：
72
线上某服务时不时报出如下异常（大约一天二十多次）：“Deadlock found when trying to get lock;”。 Oh, My God! 是死锁问题。尽管报错不多，对性能目前看来也无太大影响，但还是需要解决，保不齐哪天成为性能瓶颈。 为了更系统的分析问题，本文将从死锁检测、索引 ...
分类：
数据库 时间：
2020-07-14 16:49:46
阅读次数：
86
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等对于开发人员来说，我们每天都在用技术。但你要知道，我们写的代码，其实只是系统的一小部分，我们了解的技术，也只是系统用到的一小部分。要深入掌握技术架构，我们就需要了解整体的系统。面对一个复杂的系统，我想你可能经常会有以下困扰：不清楚系统整体的处理过程，当系统出问题时，不知道如何有针对性地去排查问题。系统设计时，经常忽视非业务性功
分类：
编程语言 时间：
2020-07-14 10:34:04
阅读次数：
81
今天系统用户反馈了一个问题，根据分析发现，在Oracle数据库表中，主键值1690出现了重复。经过反复排查，发现表对应的序列号的值比对应的表中生成的id值要小，查看数据发现，表中的部分数据是直接insert语句插入的，而这个时候，又未同步更新表序列，通过应用程序生成的数据又是根据序列同步生成的，这个 ...
分类：
数据库 时间：
2020-07-14 00:20:24
阅读次数：
95
网络不通排查步骤 你是否经常遇到配置了IP，却还是不通的情况，下面逐一分析 查看IP windows 命令 ipconfig查看 linux 命令 ifconfig查看 网线是否高亮 查看服务器的网线是否连接正常 检查网口 多网口情况下，检查服务器网线连接的网口是否与配置的IP地址网口一致 检查网关 ...
分类：
其他好文 时间：
2020-07-13 16:48:03
阅读次数：
76
