现象：最近需要抓取一些网页的信息，但发现Python的乱码问题相对Java来说，不太一样。按照以往Java解决中文乱码问题的思路去解决Python乱码，貌似行不通，报错信息： SyntaxError: Non-ASCII character '\xe5' in file 原因：Python默认是以A ...
分类：
其他好文 时间：
2016-04-05 01:58:34
阅读次数：
138
最近在使用ELKStack对系统日志进行分析，在网上也有看到有使用logstash的案例，但是发现不能正常解析出来，于是重新花时间去进行正则计算，主要代码如下:input{
file{
type=>"mysql-slow"
path=>"/var/lib/mysql/slow.log"
start_position=>beginning
sincedb_write_i..
分类：
数据库 时间：
2016-03-31 18:58:35
阅读次数：
248
1.默认，logstash对日志文件的选取是以单行为单位的；但像log4j这种输出日志经常会是以时间头开始的多行日志； 2.显示多行，需要配置logstash的config； input { file { type =>"cbb-sh-robot" path => ["/home/weblogic/... ...
分类：
其他好文 时间：
2016-03-31 16:38:16
阅读次数：
211
下载地址： https://www.elastic.co/downloads 版本：logstash-2.2.2 两台linux虚拟机，一台windows宿主机 shipper: 192.168.220.128 (centos7) indexer: 192.168.220.129 (centos7) ...
分类：
其他好文 时间：
2016-03-30 09:40:16
阅读次数：
135
折腾了很久，看了很多解决方案，要么就是pma能显示中文，控制台乱码，要么就PHP调用显示出来是乱码，很蛋疼，觉得必须要写个文章总结一下。
1. 理解MySQL的编码机制
MySQL处理连接时，外部连接发送过来的SQL请求会根据以下顺序进行转换：
character_set_client
//客户连接所采用的字符集
|
character_set_conne...
分类：
数据库 时间：
2016-03-28 00:11:54
阅读次数：
244
1.Haproxy配置日志规则在/etc/haproxy/haproxy.conf的frontend下增加optionhttplog
optionlogasap
logLogServerIPlocal5
capturerequestheaderHostlen40
capturerequestheaderX-Forwarded-Forlen50
#capturerequestheaderAccept-Languagelen50
capturerequestheaderRefererlen..
分类：
其他好文 时间：
2016-03-26 20:32:39
阅读次数：
234
logstash+elastic+kibana日志管理工具介绍及安装一、 Logstash 安装1.1 前置条件，安装了官方java 7或更新版本
查看[ldx@1511-min ~]$ java -version
openjdk version "1.8.0_71"
OpenJDK Runtime Environment (build 1.8.0_71-b15)
OpenJDK 64-Bit S...
分类：
其他好文 时间：
2016-03-26 07:55:03
阅读次数：
222
内容 安装 RVM 安装 Ruby 和 Gems 安装 Rails 安装 jls-grok Ruby grok 解析 调试 grok 注意：不要用 root 执行以下操作。 用 logstash 收集 IIS、tomcat日志，或是其他，不找个调试 grok 的工具，每次重新加载文件，然后还得把 s...
分类：
其他好文 时间：
2016-03-23 13:16:05
阅读次数：
383
最近简单了解了关于ELK的知识： ELK 由ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成 官方网站：https://www.elastic.co/products | Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，
分类：
其他好文 时间：
2016-03-22 06:20:54
阅读次数：
203
一、检查环境#logstash的运行需要java支持
[root@elk-search1~]#java-version
javaversion"1.8.0_45"
Java(TM)SERuntimeEnvironment(build1.8.0_45-b14)
JavaHotSpot(TM)64-BitServerVM(build25.45-b02,mixedmode)二、安装包直接解压就能运行[root@elk-search1~]#tarxflogstash..
分类：
其他好文 时间：
2016-03-21 16:45:31
阅读次数：
171
