Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
当面对可能存在的大数据，不能把所有数据放在一张表里，否则会影响到查询效率，那么我们需要对数据库进行分表分区，例如一天一张表，当插入数据时，判断表是否存在，不存在则创建新表，并进行数据插入。 如果我们需要在程序中通过sql语句查询来获得存在的数据库，以及某个数据库的所有表名，可以这样写： #查询所有的 ...
分类：
数据库 时间：
2020-07-15 23:31:13
阅读次数：
130
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
执行报错如下： 20/07/15 14:02:34 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 20/07/ ...
分类：
数据库 时间：
2020-07-15 15:29:36
阅读次数：
88
源中瑞智慧能源系统应用互联网等新一代信息技术对能源的生产、存储、输送和使用状况进行实时监控、分析，并在大数据、云计算的基础上进行实时监测、报告和优化处理，以形成最佳状态、开放透明、吸收企业、科研机构综合性能源管理系统。
分类：
其他好文 时间：
2020-07-15 12:55:15
阅读次数：
72
hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）vi /etc/security/limits.conf 添加 ：sof ...
分类：
其他好文 时间：
2020-07-15 12:46:25
阅读次数：
86
转自：http://blog.sina.com.cn/s/blog_6c0541d50102wxen.html 一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设 ...
分类：
数据库 时间：
2020-07-15 01:28:05
阅读次数：
121
看了一些关于MySQL查询的优化方法，发现MySQL的优化最离不开的就是索引，还有其他优化的小建议。 查询方法： 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因 ...
分类：
数据库 时间：
2020-07-15 01:27:14
阅读次数：
112
毕业工作前曾幻想在工作中自己的技术会飞速增长，但工作一年后真正的认识到了职场的真实情况。 目标： 原本打算做Java开发，不过算是自己的机遇，入了大数据组，也怪自己太懒，不喜欢钻研，所以到如今，工作虽游刃有余，但技术感觉不仅没有成长，反而隐隐有些倒退，我心惶恐，立志在接下来半年中持续学习，并坚持要要 ...
分类：
其他好文 时间：
2020-07-15 01:15:10
阅读次数：
118
商业智能的应用在国外已广为普及，并且开始不断应用大数据和云技术。而国内，商业智能BI工具在这几年才开始慢慢被接受，企业开始有意识地建立一体化数据分析平台，为经营决策提供分析。近几年，商业智能的几大趋势：对于大数据更好的支持，对海量数据块的快速响应，各大商业智能软件基本都支持了hadoop作为数据库；可视化分析的重要性，也日益明显，比如国内的亿信华辰跟国外的Tableau，QLK，PowerBI都有
分类：
其他好文 时间：
2020-07-14 20:00:26
阅读次数：
165
