背景： 笔者的源数据一张表大概7000多万条，数据大小36G，索引6G，加起来表空间有40G+，类似的表有4张，总计2亿多条 数据库mysql，引擎为innodb,版本5.7，服务器内存256G，物理内存几个T，硬件参数杠杠的，然而处理这些数据踩了不少坑，因 为之前没做过这方面的工作，现在记录下清洗 ...
分类：
数据库 时间：
2018-08-25 14:13:18
阅读次数：
213
前言：说起垃圾收集器，JAVA开发者肯定是听得耳朵都起茧子了。如果让你设计一个JAVA垃圾收集器，那么你关注那些点呢？//1.哪些内存需要回收？//2.什么时候回收？//3.如何回收？这篇博文就是记录这些问题答案的。闲言碎语不多讲，开始写。那些内存需要回收？我们先来回顾一下“运行时数据区”的知识点。我们都知道程序计数器、虚拟机栈、本地方法栈都是与线程同生共死的。栈中的栈帧分配多少内存在类结构确定下
分类：
编程语言 时间：
2018-08-20 15:42:47
阅读次数：
181
引言 前面，我们用 [0] 、[bx] 的方法，在访问内存的指令中，定位内存单元的地址。这一章中，我们主要讲解一些更灵活的定位内存地址的方法和相关的编程方法。 我们的讲解将通过具体的问题来进行。 7.1 and 和 or 指令 7.2 关于ASCII码 7.3 以字符形式给出的数据 7.4 大小写转 ...
分类：
其他好文 时间：
2018-08-20 15:41:55
阅读次数：
170
数据就是存放资源元数据用来标识数据的特性比如数据的属主和属组数据修改时间数据大小访问时间属性等等。文件名不能使用特殊符号 一般来说.sh脚本文件.tar.g2压缩文件.conf/cnf配置文件.log日志文件同时linux系统对大小非常敏感，所以在操作的时候一定要注意大小写文件名规则：文件名最长255个字节包括路径在内的文件名最长4095个字节文件颜色类型：蓝色-->目录绿色--&
分类：
其他好文 时间：
2018-08-12 23:39:55
阅读次数：
187
【C语言】 因为以前学过C语言，只不过太长时间不用，已经忘得差不多了… 所以这篇文章的性质是把C语言中一些对于现在的我不是很符合预期的知识点记录一下。 ■ HelloWorld程序 HelloWorld如下 如果是在Linux上并且安装了gcc，那么将上述代码写入test.c之后，直接使用gcc - ...
分类：
编程语言 时间：
2018-08-10 10:55:27
阅读次数：
139
eBPF监控工具bcc系列九bcc Python 接下来看下python方面的知识。 1. 初始化 1.1 BPF 语法： 创建一个BPF对象，能通过交互来产生输出。 1.2 USDT 语法：USDT({pid=pid | path=path}) 创建对象来使用USDT，可以指定进程ID,路径。 2 ...
分类：
编程语言 时间：
2018-08-09 12:17:04
阅读次数：
556
一.文件权限存在的意义 系统最底层安全设定方法之一 保证文件可以被可用的用户作相应操作 二.文件权限的查看 ls -l file ls -ld dir ll file ll -d dir 三.文件权限的读取 [1] - ##空文件或者文本 d ##目录 l ##软连接 s ##socket 套接字 ...
分类：
系统相关 时间：
2018-07-25 13:14:14
阅读次数：
175
方法三 通过继承HttpServlet 1. 表单提交数据get和post请求区别: (1) 安全性,get<post (2) 提交数据大小,get<=2K,post提交的数据理论上不受限制,实际编程中建议<64K (3) 请求响应速度,get>post,get要求服务器立即处理请求,post请求可 ...
分类：
其他好文 时间：
2018-07-23 14:40:17
阅读次数：
107
Python数据类型：双端队列说到容器类型，大家第一时间想到的多半是list，而list确实也能解决大部分的需要，但碰到列表内的数据量相当大的时候，性能问题就显得尤为重要；再或者列表被恶意注入一个无穷大的数据量时，就可能会暴露出安全问题来。较好的替代方法是：collections.deque。获得性能或安全的同时，牺牲的是数据大小。deque队列两端取出或者删除时间复杂度都是O(1),而列表都是O
分类：
编程语言 时间：
2018-07-22 00:12:16
阅读次数：
178
链表（Linked list）：是一种常见的基础数据结构，是一种线性表，但是并不会按线性的顺序存储数据，而是在每一个节点里存到下一个节点的指针(Pointer)。 使用链表结构可以克服数组链表需要预先知道数据大小的缺点，链表结构可以充分利用计算机内存空间，实现灵活的内存动态管理。但是链表失去了数组随 ...
分类：
其他好文 时间：
2018-07-09 19:07:54
阅读次数：
145
