配置日志收集系统 ELK需求背景：业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志为什么要用到ELK：1.一般我们需要进行日志分析场景：直接 ...
分类：
其他好文 时间：
2020-07-27 15:45:28
阅读次数：
63
1.创建FBDA管理员用户账号(后续用此用户管理) CREATE USER FBDA_ADMIN IDENTIFIED BY "123456" DEFAULT TABLESPACE MY_UD TEMPORARY TABLESPACE TEMP_GP; GRANT DBA to FBDA_ADMIN ...
分类：
数据库 时间：
2020-07-27 09:32:15
阅读次数：
120
input { stdin { } jdbc { # mysql 数据库链接 jdbc_connection_string => "jdbc:mysql:localhost/database?characterEncoding=utf8" # 用户名和密码 jdbc_user => "xxx" jd ...
分类：
其他好文 时间：
2020-07-26 19:44:44
阅读次数：
109
说起ELK相信大家都不陌生，他可不是一个软件，是三个软件 logstash，elasticsearch，Kibana 组成的可以打造大规模日志实时处理的系统。 Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查 ...
分类：
其他好文 时间：
2020-07-26 15:54:23
阅读次数：
71
下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch ELK的主版本号需要统一：ElasticSearch-5.5 + Logstash-5.5 + Kibana-5.5 安装ElasticSearch 在安装 El ...
分类：
其他好文 时间：
2020-07-26 15:38:49
阅读次数：
69
1. 简要介绍 HBase 是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务，可 ...
分类：
其他好文 时间：
2020-07-26 01:59:15
阅读次数：
89
mysql时间转换和事务 涉及的函数 date_format(date, format) 函数，MySQL日期格式化函数date_format() unix_timestamp() 函数 str_to_date(str, format) 函数 from_unixtime(unix_timestamp ...
分类：
数据库 时间：
2020-07-25 23:30:39
阅读次数：
136
概念解析 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。 在拆分之前，一个数据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到不同的数据库中，从而将压力分散至不同的数据库。 下图展示了根据业务需要，将用户表和订单表垂直分片到 ...
分类：
编程语言 时间：
2020-07-25 23:27:14
阅读次数：
84
时间格式转换 日期格式→Unix时间戳 转10位Unix时间戳 数据：2020-07-23 15:01:13 Presto：select to_unixtime(cast('2020-07-23 15:01:13' as timestamp)) Hive：select unix_timestamp( ...
分类：
其他好文 时间：
2020-07-24 16:10:55
阅读次数：
181
#时间戳格式改为YYYY-mm-DD hh:MM:ss df['pdate']=pd.to_datetime(df['Timestamp'],unit='s') #从日期中快速取出月份 df_group=df.groupby([df["pdate"].dt.month,"Rating"])["Use ...
分类：
其他好文 时间：
2020-07-23 23:15:48
阅读次数：
126
