hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）vi /etc/security/limits.conf 添加 ：sof ...
分类：
其他好文 时间：
2020-07-15 12:46:25
阅读次数：
86
网络相关： 以下参数，可自行在/etc/sysctl.conf文件加入，执行sysctl -p命令生效： net.core.somaxconn ##TCP连接经过三次握手后，端口最大的监听队列长度：，默认值为128 net.ipv4.tcp_syncookies = 1 表示开启SYN Cookie ...
分类：
其他好文 时间：
2020-07-12 19:11:28
阅读次数：
93
部署通用基础设施， 满足顶级 SLA 要求 Telefónica 使用基于英特尔® 至强® 可扩展处理器和英特尔® 傲腾? 数据中心级固态盘 的 VMware 虚拟存储区域网络 (vSAN)* 架构，完成对高吞吐量和低延迟的虚拟数据 中心解决方案的验证。 数据提升反馈： · 在使用英特尔傲腾数据中心 ...
分类：
其他好文 时间：
2020-07-12 10:39:28
阅读次数：
101
1. 课程知识回顾 1) 什么是挂载 PS: 在挂载的时候,尽量不要使用已经有数据的目录作为挂载点 2) 系统 / 目录下面常见的目录信息 /bin /sbin /home /root ... 3) /etc目录中内容 (保存系统或服务的配置文件) 4) /usr/local目录 (保存安装的程序文 ...
分类：
其他好文 时间：
2020-07-11 22:55:35
阅读次数：
62
本文不涉及复杂的底层数据结构，通过explain解释SQL，并根据可能出现的情况，来做具体的优化，使百万级、千万级数据表关联查询第一页结果能在2秒内完成(真实业务告警系统优化结果)。 希望读者能够理解SQL的执行过程，并根据过程优化，走上自己的"成金之路" 需要优化的查询： 使用explain出现了 ...
分类：
数据库 时间：
2020-07-04 15:20:34
阅读次数：
97
一、nl命令 1、nl命令在linux系统中用来计算文件中行号 -b ：指定行号指定的方式，主要有两种： -b a ：表示不论是否为空行，也同样列出行号(类似 cat -n)； -b t ：如果有空行，空的那一行不要列出行号(默认值)； -n ：列出行号表示的方法，主要有三种： -n ln ：行号在 ...
分类：
系统相关 时间：
2020-06-29 20:19:34
阅读次数：
109
在limit.conf配置文件中添加了如下配置 * soft nproc 65535 * hard nproc 65535 * soft nofile 131070 * hard nofile 131070 另启终端查看最大文件打开数ulimit -n仍然为1024 经过各种百度搜查，发现以前更新过 ...
分类：
其他好文 时间：
2020-06-24 12:05:31
阅读次数：
334
#!/bin/bash ssh-keygen cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys ulimit -n 10000 yum install - ...
分类：
系统相关 时间：
2020-06-23 15:50:21
阅读次数：
83
tbox下运行gdb：1、ulimit -c unlimited2、sysctl -w "kernel.core_pattern=/ydsdata/core_%e_%t.%p"3、手动运行程序4、/ydsdata 目录中产生core文件5、gdb /ydsapp/run/hum /ydsdata/c ...
分类：
数据库 时间：
2020-06-23 14:58:06
阅读次数：
110
redis单机安装1、redis安装需要c语言的编译环境。如果没有gcc 需要在线安装 rmp -qa | grep gcc-c++2、在/user/local/upload 下解压redis的软件包 tar -zxvf redis-3.0.0.tar.gz3、得到解压后的目录 redis-3.0. ...
分类：
系统相关 时间：
2020-06-13 10:49:20
阅读次数：
75
