1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
expr match "$pwrdm_stat" ".*,\($pwr_state:[0-9]*\)" 不理解 从字符串开始的位置匹配子串的长度 expr match "$string" '$substring' $substring是一个正则表达式 expr "$string" : '$subst ...
分类：
系统相关 时间：
2019-01-17 10:53:11
阅读次数：
170
.数据量过大，且采用的是同步，单个excel sheet 13万+数据； .导入前验证，每行某列 验证，频繁和数据库交互 .使用很老的微软企业库进行批量插入操作，效率低下 ，插入后，又批量进行执行sql修改操作 ； 3 解决方案： 修改excel转table 的方案由OpenXMLHelper 转换 ...
分类：
其他好文 时间：
2019-01-15 17:09:10
阅读次数：
256
下面以一个网站的图书爬取为例，数据需要记录大分类 、小分类等信息。 页面有 大分类页面、小分类页面、列表页面、详情页面、 需要一条数据，包括所有的信息，所以借助meta的作用来把当前响应的数据进行传递给下一个解析函数。 为什么需要深拷贝呢？防止一条数据还没有收集完全，就被下一个请求重新定义item给 ...
分类：
Web程序 时间：
2019-01-14 20:17:25
阅读次数：
164
Idea2018集成tomcat9，output输出乱码解决方案。 ...
分类：
其他好文 时间：
2019-01-14 17:18:49
阅读次数：
194
1.从库复制进程报如下错误 ************************************************************************* Run Time Messages ******************************************** ...
分类：
其他好文 时间：
2019-01-12 22:57:50
阅读次数：
534
webpack4 单独抽离打包 css 的新实现 前言 之前我们使用的打包 css 无非两种方式：① 将 css 代码打包进 入口 js 文件中；② 使用第三方插件(extract text webpack plugin)实现【注意，该插件在 webpack4 中已经不推荐使用，而且会出现各种莫名其 ...
分类：
Web程序 时间：
2019-01-12 16:44:28
阅读次数：
287
堆设置 -Xms:初始堆大小 -Xmx:最大堆大小 -XX:NewSize=n:设置年轻代大小 -XX:NewRatio=n:设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4 -XX:SurvivorRatio=n:年轻代中Eden区与两个Sur ...
分类：
其他好文 时间：
2019-01-12 13:09:31
阅读次数：
197
[TOC] 说在前面 本文偏小白，大佬慎入，若有错误或者质疑，欢迎留言提问，谢谢，祝大家新年快乐。 spring cloud Spring Cloud 是将分布式系统中一系列基础框架/工具进行整合的框架。其中包含： __服务注册与发现、服务网关、熔断器、配置中心、消息中心、服务链路追踪等等__ 。这 ...
分类：
编程语言 时间：
2019-01-11 10:13:48
阅读次数：
256
