【转】Python之mmap内存映射模块(大文本处理)说明 背景: 通常在UNIX下面处理文本文件的方法是sed、awk等shell命令,对于处理大文件受CPU,IO等因素影响,对服务器也有一定的压力。关于sed的说明可以看了解sed的工作原理,本文将介绍通过python的mmap模块来实现对大文件 ...
分类:
编程语言 时间:
2019-01-12 18:05:25
阅读次数:
192
前言 有人喜欢小而美的工具,有人喜欢大集成工具。这里推荐一款增强型的Windows终端工具MobaXterm,它提供所有重要的远程网络工具(SSH,X11,RDP,VNC,FTP,MOSH ......)和Unix命令(bash,ls,cat,sed,grep,awk,rsync等)。使用MobaX ...
2018-01-11 算法工程实习生 自动化工具链方面 面试的知识点非常仔细,十分检验基本功底 1.自我介绍 2.算法题,leetcode 第一题 两数之和 问python中数组和字典的查找时间复杂度 3.git git 4.linux 常用命令 cd - ,cd ,cd ~,cd / awk 读取 ...
分类:
编程语言 时间:
2019-01-11 22:07:55
阅读次数:
243
#!/bin/bash pod01=`kubectl get pod -o wide -n weifeng-system|grep official-ui-node-prod|awk -F : 'NR==1'|awk -F " " '{print $1}'` pod02=`kubectl get p... ...
分类:
系统相关 时间:
2019-01-11 14:44:22
阅读次数:
387
为什么用到ELK: 一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类:
其他好文 时间:
2019-01-10 15:37:36
阅读次数:
140
什么是前端 前端:针对浏览器的开发,代码在浏览器运行 后端:针对服务器的开发,代码在服务器运行 前端三剑客 HTML CSS JavaScript HTML HTML(超文本标记语言——HyperText Markup Language)是构成 Web 世界的基石。HTML是一种基础技术,常与CSS ...
分类:
其他好文 时间:
2019-01-10 10:59:18
阅读次数:
178
主要从视频文件截取,暂时github 上还没有很全的相关文档 v1目标 config lint processor error 处理 subprocess processor awk processor sleep processor 说明 部分processor github 上已经有文档了,但是 ...
分类:
其他好文 时间:
2019-01-10 10:51:45
阅读次数:
127
1.linux启动过程int进程linux第一启动进程读取/etc/inittab 配置文件初始化系统 设置主机名 ip地址等根据启动级别启动软件登录界面2.负载wutimetopfree -h3.awk 和sed区别 awk 擅长取列 默认正则sed 擅长取行 -r 支持正则 grep 过滤行 e ...
分类:
其他好文 时间:
2019-01-09 18:53:57
阅读次数:
256
#!/bin/bash #在 servername 域名 字符串后面添加指定字符串 servername=`grep ServerName httpd-vhosts.conf |awk '{print $2}'` for conf in $servername;do sed -i "/ServerN... ...
分类:
其他好文 时间:
2019-01-09 17:36:13
阅读次数:
206
实例:自定义一个检查Linux系统根目录的使用情况的监控项。1、配置一个自定义的监控项(1)、先配置获取根目录使用的当前情况的脚步,生产的脚步文件要有执行权限,如下:[root@node1~]#df-h|awk‘{if(NR==2){printint($5)}}‘//NR代表行,$5代表第5列给脚本执行权限:脚本执行结果:(2)、把这个获取根目录使用情况的脚本在zabbix_age
分类:
其他好文 时间:
2019-01-09 11:42:02
阅读次数:
198