近些年随着DevOps概念越来越收到重视，除了传统的Splunk,Zabbix外在开源领域也有越来越多的软件可供使用.从数据收集,时序数据库,图形展示等主要方面有各类可扩展的软件用于搭建一个数据监控平台(详细列表)，Logstash+elasticsearch+kibana算是被写的比较多的，本.....
分类：
其他好文 时间：
2015-10-31 17:13:41
阅读次数：
671
一直做的数据分析均是基于数据库数据、日志进行分析，开发业务模型，日志深度监控系统。也一直想抓取到用户的感知，幸好找大数据平台的人要到了我们网站嵌码采集的相关数据，准备对用户行为从早期的access日志外，另一层面做下分析。用到时间函数时存在很大于oracle不同，用fro..
分类：
其他好文 时间：
2015-09-18 18:42:55
阅读次数：
224
什么是graphite?先看看百度百科是怎么介绍
Graphite 是一个Python写的web应用，采用django框架，Graphite用来进行收集服务器所有的即时状态，用户请求信息，Memcached命中率，RabbitMQ消息服务器的状态，Unix操作系统的负载状态，Graphite服务器大约每分钟需要有4800次更新操作，Graphite采用简单的文本协议和绘图功能可以方便地使用在任何...
分类：
系统相关 时间：
2015-08-28 15:37:42
阅读次数：
293
长期查看监控数据, 监控数据的时间戳格式是标准的unix时间戳, 查看费劲, 于是乎自己写了一个小程序 代码如下 #!/bin/env?python
#coding:utf8
#unix时间戳转换
import?sys,?time,?os,?re
def?com_judge()...
分类：
其他好文 时间：
2015-06-29 10:22:27
阅读次数：
162
现在为了降低手机端的开发成本，越来越多的手机应用采用html5在进行开发，这样可以保证一处开发，到处嵌入。 但是这样的手机性能经常会是个瓶颈，因为当体验要求变高时，大多依赖html渲染引擎来对dom数据进行渲染,还有远程通讯的开销等。 对于渲染的性能，我在这里不会作太多的描述，对于通讯的性能影响，我...
分类：
Web程序 时间：
2015-06-11 20:48:54
阅读次数：
171
开发网络程序时，我们能够直观看到往来数据，对开发是十分便利的。这里提供了几种方法：
一、虚拟网卡
1.在iPhone或iPad上创建一个RVI(remote virtual interface)虚拟网卡
用usb把设备和mac相连接，打开命令行工具，输入命令：
rvictl -s abcdef01234563e91f1f2f8a8cb0841d2dafeebbc
这里那一长串东西是设...
分类：
移动开发 时间：
2015-05-26 14:27:59
阅读次数：
217
通过netstat命令，我们能获取TCP数据，监控它们有助于了解系统状态。 ? ?如果netstat版本比较老的话，那么运行时可能会遇到类似下面的错误信息： ? ?error parsing /proc/net/netstat: Success ? ?假设操...
分类：
Web程序 时间：
2014-12-05 09:20:53
阅读次数：
182
storm实时处理实例设计方案，为初学者提供一个相对容易理解的实例。...
分类：
其他好文 时间：
2014-11-06 22:03:30
阅读次数：
241
#!/usr/bin/pythonimportjsonimportpycurlimportcStringIOdefwork_url(ip):buf=cStringIO.StringIO()c=pycurl.Curl()c.setopt(c.URL,"http://%s:8983/solr/collection1/admin/mbeans?stats=true&wt=json&_=1409194287592"%ip)c.setopt(c.WRITEFUNCTION,buf.write)c.per..
分类：
其他好文 时间：
2014-10-10 21:02:54
阅读次数：
183
我的工作内容以数据监控为主，正则表达式在我的工作中应用比较多。他对字符串的处理和验证非常高效。现将一些自己积累常用的表达式收集于此，以飨读者。匹配电话号码：^\d{3}-\d{8}|^\d{4}-\d{7}|1[358]d{9}$注：匹配形式如 021-87886699 或 0550-5233222...
分类：
其他好文 时间：
2014-08-15 22:26:59
阅读次数：
280
