Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
MySQL时间戳与日期格式的相互转换 MySQL: 获取当前时间 SELECT NOW(); // 2018/10/11 14:22:51 时间日期格式转换成时间戳格式，UNIX_TIMESTAMP() SELECT UNIX_TIMESTAMP(NOW()); // 1539238930 时间戳格 ...
分类：
数据库 时间：
2020-09-17 18:21:13
阅读次数：
66
什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为e ...
分类：
其他好文 时间：
2020-09-17 15:51:53
阅读次数：
26
需求 给定发布评论的时间戳timestamp， 要求根据时间戳如下显示： 不足一分钟：刚刚， 满一分钟不足24小时：xx分钟前 过了0点：昨天，2天前，3天前…… 超过三天：08-01（月-日） 代码 function getDateDiff(timestamp) { var prev = new ...
分类：
Web程序 时间：
2020-09-16 12:43:13
阅读次数：
58
impdp+dblinke时遇到该错误，可能会有以下类似的报错：SYS.DBMS_UTILITYSYS.KUPM$MCPSYS.DBMS_STREAMS_PUB_RPCSYS.DBMS_METADATA这个错误指远程的存储过程与当前机器的timestamp不匹配，无法执行，受remote_dependencies_mode参数影响，默认值为timestamp可手动在源和目标同时修改该参数为：ALT
分类：
其他好文 时间：
2020-09-15 21:28:20
阅读次数：
40
不用抓包工具,返回错误信息不够全面,在此次测试中也就返回了status的415 和error错误 ,而没有类似下边wireshark抓包返回的信息 还隐藏着message这个信息 {"timestamp":"2020-08-27T03:51:50.524+0000","status":415,"er ...
1.前言通常我们编写SpringMVC接口的范式是这样的：@RestController@RequestMapping("/v1/userinfo")publicclassUserInfoController{@GetMapping("/foo")publicStringfoo(){return"felord.cn";}}这种我都写吐了，今天换个口味，使用Spring5新引入的函数式端点（Func
分类：
编程语言 时间：
2020-08-28 14:59:27
阅读次数：
54
本篇文章主要是手把手教你搭建ELK实时日志分析平台，那么，ELK到底是什么呢？ELK是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash和Kibana。Elasticsearch是一个搜索和分析引擎。Logstash是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如Elasticsearch等存储库中。Kibana则可以让用户在
分类：
其他好文 时间：
2020-08-28 11:57:17
阅读次数：
289
什么是SQL函数？为什么使用SQL函数可能会带来问题？
分类：
数据库 时间：
2020-08-20 18:36:17
阅读次数：
82
##【最佳实践示例】LogstashJDBC实现ElasticSearch与关系型数据库PostgreSQL近实时同步在数据全文检索需求越来越大的今天，很多公司都在关系数据库数据的基础上，加上了ElasticSearch，来进行数据快速全文检索，所以ElasticSearch与关系型数据库数据进行数据同步就变的尤为重要。本文主要介绍PostgreSQL数据库通过Logstash-JDBC插件与El
分类：
数据库 时间：
2020-08-08 00:39:39
阅读次数：
103
