2017年2月25日, 星期六crontab定时任务19. crontab 定时任务通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。19... ...
分类：
Web程序 时间：
2018-08-23 02:22:12
阅读次数：
212
随着数据已经逐步成为一个公司宝贵的财富，大数据团队在公司往往会承担更加重要的角色。根据七牛云在日增千亿级的日志分析工作，资深数据架构师崔文正为大家分享了大数据技术架构选型的一些经验。
分类：
其他好文 时间：
2018-08-22 18:26:24
阅读次数：
197
ELK简介“ELK”是三个开源项目的首字母缩写：Elasticsearch，Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是一个服务器端数据处理管道，它同时从多个源中提取数据，对其进行转换，然后将其发送到像Elasticsearch这样的“存储”。Kibana允许用户使用Elasticsearch中的图表和图形可视化数据。ELK原理在所有需要收集日
分类：
其他好文 时间：
2018-08-22 10:22:16
阅读次数：
222
在CentOS7中部署ELK日志分析系统ELK原理介绍什么是ELKELK是三个开源软件的缩写，分别表示：Elasticsearch,Logstash,Kibana,它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是实时全文搜索和
分类：
其他好文 时间：
2018-08-22 10:19:46
阅读次数：
446
专栏介绍ELK是目前行业中非常热门的一个技术，它可以用于电商网站、门户网站、企业IT系统等各种场景下，也可以用于对海量的数据进行近实时的数据分析。专栏深入浅出剖析ELK在企业常见应用框架以及ZooKeeper、Kafka与ELK进行整合的方法和架构。首选通过具体的一个应用案例介绍ZooKeeper+Kafka+ELK构建一套实时日志处理系统的过程。然后通过对Logstash和filebeat的对比
分类：
其他好文 时间：
2018-08-20 20:15:17
阅读次数：
281
新的服务器需要搭建ELK三剑客，就是日志分析的工具 下载对应文件，把文件放在服务器上， 第一步，先运行ElasticSearch（命令行方式），正常。 第二步，运行logstash，（本地使用的管道是连接redis的）这个的运行不想用命令行了，想借助nssm来安装服务，可谁曾想，执行了nssm in ...
分类：
Windows程序 时间：
2018-08-19 16:14:03
阅读次数：
1206
以观看日志分析为例，介绍各种常用的ElasticSearch聚合操作 ...
分类：
其他好文 时间：
2018-08-19 11:09:56
阅读次数：
153
应用上线后可能出现一些问题，通过源码排查，日志分析都不能确定具体原因的情况下，可以使用dump转存文件分析，netcore对于linux系统dump提供了createdump工具，配合lldb sos插件进行clr级分析 启动一个dotnet容器，使用特权运行，createdump要访问其他进程内存 ...
分类：
其他好文 时间：
2018-08-18 13:10:39
阅读次数：
830
正则表达式只和字符串打交道 正则表达式主要应用的工作场景 1.web开发 2.爬虫 3.自动化 4.数据分析 日志分析 1数字[0-9] 常用元字符 常用限定符 代码/语法说明 * 重复零次或更多次 + 重复一次或更多次 ? 重复零次或一次 {n} 重复n次 {n,} 重复n次或更多次 {n,m} ...
分类：
其他好文 时间：
2018-08-16 22:34:46
阅读次数：
267
正则表达式 1.是一种独立的规则,独立的语言 2.正则表达式是什么,能做什么 1.从大段的文字中找到符合规则的内容(爬虫,日志分析...) 如果要把一个文件中所有的手机号码都找出来 open 打开文件 读文件 str形式 从一长串的字符串中找到所有的11位数字 一个字符一个字符的读 2.判断某个字符 ...
分类：
其他好文 时间：
2018-08-16 22:31:16
阅读次数：
223
