python脚本解析日志文件入库一般有三个重要的步骤：读文件、解析文件、入库。在这三个方面下功夫，可确保我们获得最优的性能（这里不讨论并发）1 读文件：一次读一行，磁盘IO太多，效率低下；一次性读如全部文件内容，可能内存不够。采取一个折中的办法，每次读若干byte(具体大小视实际情况而定)。经过.....
分类：
编程语言 时间：
2014-06-19 06:22:34
阅读次数：
341
这篇博文分享的是我们针对一个耗时20秒的请求，用Wireshark进行抓包分析的过程。请求的流程是这样的：客户端浏览器 -> SLB(负载均衡) -> ECS(云服务器) -> SLB -> 客户端浏览器。从分析的情况看，SLB与客户端的网络环境都可能引起这个问题。但是从IIS日志来看，有些耗时长的...
分类：
其他好文 时间：
2014-06-19 00:31:12
阅读次数：
779
前段时间在项目中遇到一个问题。当多个系统同时运行时，大部分系统能够良好运转，部分却卡死在了启动界面。以下是我解决该问题的步骤和总结：1、复现问题。重新走了一遍出问题的过程，发现问题的确存在。说明这个问题不是偶然发生。2、看日志。确定问题是必然发生之后，开始查看日志，发现日志中有问题的系统状态一直不正...
分类：
编程语言 时间：
2014-06-18 23:11:56
阅读次数：
302
第一步：导入Spring jar 包
Spring核心包(4个)
日志包(2个)
jdbc模板支持(1个)
spring-jdbc-3.2.0.RELEASE.jar
模板相关事务处理包(1个)
spring-tx-3.2.0.RELEASE.jar
ORM框架模板支持(1个)
spring-orm-3.2.0.RELEASE.jar
第二步：增加一个S...
分类：
编程语言 时间：
2014-06-16 20:28:23
阅读次数：
280
Apple发布了替代oc的利器语言 Swift ，牛叉的中国开发者社区在9天的时间内就汉化了，这是多少中国开发者的福音啊，发现了之后异常兴奋，写个日志保存下，防止立马忘记：
GitHub开源项目：《The
Swift Programming Language》in Chinese
在线中文版： http://www.swiftguide.cn
或者 http://num...
分类：
其他好文 时间：
2014-06-16 20:09:49
阅读次数：
188
一、日志系统1、日志系统：syslog()信息详细程序：日志级别日志子系统：facility日志记录动作：ActionLinux上的日志系统：syslogsyslog-ng:syslog-ng作为syslog的替代工具，可以完全替代syslog的服务，并且通过定义规则，实现更好的过滤功能系统启动过程的日志：kernel-->物..
分类：
系统相关 时间：
2014-06-16 18:21:51
阅读次数：
306
远程登录服务器后，发现服务器的C盘满了，我感觉奇怪，记得我已经把日志移动到D盘了，怎么C盘容量还在不断减少，不断排查，发现C:\WINDOWS\system32\LogFiles\HTTPERR目录下有大量log文件，占用了大量空间，C盘满的原因就是这个目录的文件引起的。默认情况下，Windows2003服务..
分类：
其他好文 时间：
2014-06-16 17:44:00
阅读次数：
278
Apache吃空内存，频繁宕机在部署一套内网测试环境时，频繁宕机，开机后不断的吃内存，重启apache之后内存占用会不停的上涨，直到swap用完，直到死机，由于是内网环境，服务器并发和压力都很校查看apache错误日志，报大量类似错误：[TueFeb1414:49:282012][warn]childprocess775..
分类：
系统相关 时间：
2014-06-16 16:54:32
阅读次数：
226
个推的使用在Androidclient相对来说使用比較简单，已经提供了sdk Demo，依照文档和Demo配置相关代码就能够。下图为推送的示意图client须要区分通知和透传的使用，依据需求告诉服务端选择不同的模板服务端注意的东西相对来说比較多：个推每天的消息推送量数以亿计，统计分析日志时，常常能够...
分类：
其他好文 时间：
2014-06-16 14:03:04
阅读次数：
281
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
