第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文...
分类：
编程语言 时间：
2014-08-03 17:33:25
阅读次数：
345
awk 学习笔记
最近添加了几个功能的日志，但是呢，这个日志就是输出，一般自己也发现不了问题，于是想写一些简单的监控脚本来看看日志的大致情况，
比如有没有error，每天有多少error报出来。 想到了以前运维的同时分享awk，于是想简单的学习下。
入门
最简单的输入某些列 使用$4 这种来表示 __$0__是输出整列
[root]/root/test$ps -ef|grep...
分类：
系统相关 时间：
2014-08-03 15:24:35
阅读次数：
368
服务器编程中，日志系统需要满足几个条件 .高效，日志系统不应占用太多资源 .简洁，为了一个简单的日志功能引入大量第三方代码未必值得 .线程安全，服务器中各个线程都能同时写出日志 .轮替，服务器不出故障是不重启的，半年一年的日志放到一个文件会导致文件过大 .及时保存，程序故障导致异常退出，此时需要通过...
分类：
其他好文 时间：
2014-08-03 12:28:55
阅读次数：
454
nginx的日志一直是写在一个文件上面，运行久了之后文件会非常大，因此我们有必要对nginx的日志进行分割：1234567891011#! /bin/bashACCESS_LOG=/data/nginx/www.logERROR_LOG=/data/nginx/error.logYESTERDAY=...
分类：
其他好文 时间：
2014-08-02 12:44:53
阅读次数：
237
1、背景 1.1 Redis简介 官方网站：http://redis.io/，Redis是REmote DIctionary Server的缩写。 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言...
分类：
其他好文 时间：
2014-08-01 23:24:42
阅读次数：
631
sudo介绍：sudo是linux下常用的允许普通用户使用超级用户权限的工具；sudo特性：<1>sudo能够限制用户只是在某台主机上运行命令；<2>sudo提供了丰富的日志，详细的记录了每个用户干了什么；<3>sudo使用时间戳文件来执行类似“检要”系统，当用户调用sudo并且..
分类：
其他好文 时间：
2014-08-01 20:23:42
阅读次数：
324
本文首发于烂泥行天下。最近一直在学习有关KVM的知识，实验一直是在虚拟机VM中进行的。今天刚好公司有一台空闲的服务器，直接拿来安装centos、kvm等等，然后相关的配置。但是在KVM安装windows系统时，一直会出现蓝屏，无法进行系统的安装。如下图：查看虚拟机的日志，如下图：t..
本文由秀依林枫提供友情赞助，首发于烂泥行天下。 最近一直在学习有关KVM的知识，实验一直是在虚拟机VM中进行的。今天刚好公司有一台空闲的服务器，直接拿来安装centos、kvm等等，然后相关的配置。 但是在KVM安装windows系统时，一直会出现蓝屏，无法进行系统的安装。如下图： 查看虚拟机的日志...
今天写了一个VBS脚本，用于将指定的文本文件按行数拆成多个文件，如源文件为20万行，按5万行进行拆分，则通过该脚本可将其拆成4个文件。其中实现了分级日志的功能，即可以设置不同的日志级别，在运行过程中向用户展现不同的提示信息。代码如下：123456789101112131415161718192021...
分类：
其他好文 时间：
2014-08-01 12:51:42
阅读次数：
340
可能是项目绑定的日志不是logback的jar包，而是其他包，具体可查看tomcat启动日志log4j:WARN No appenders could be found for logger (org.springframework.web.context.ContextLoader).log4j:...
分类：
其他好文 时间：
2014-08-01 12:50:31
阅读次数：
263
