大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 19:57:01
阅读次数：
24
性能分析插件 开发过程中我们会遇到一些运行较慢的SQL，我们需要进行测试，或者使用druid进行操作。 在mybatis-plus中也提供了这样的插件，如果超过就停止运行！ 1.导入插件 /** * SQL执行效率插件 */ @Bean @Profile({"dev","test"})//设置dev ...
分类：
其他好文 时间：
2020-09-17 19:52:50
阅读次数：
27
使用mybatis-plus 封装好的Page插件，可以很方便的帮助我们进行查询分页，不用再写过多冗余代码，强烈推荐 以下是本人使用的例子： pom依赖 <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-gen ...
分类：
其他好文 时间：
2020-09-17 19:50:32
阅读次数：
34
一、Map端的主要工作 为来自不同表或文件的key/value对，打标签以区别不同来源的记录。 然后用连接字段作为key，其余部分和新加的标志作为value，最后进行输出。 二、Reduce端的主要工作 在Reduce端以连接字段作为key的分组已经完成， 我们只需要在每一个分组当中将那些来源于不同 ...
分类：
其他好文 时间：
2020-09-17 19:03:58
阅读次数：
23
Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
第一次部署jenkins，在进行插件安装时报如下错误：【Advance】页签下方有个【UpdateSite】，把其中的链接https改成http的就好了，然后重启jenkins服务。
分类：
其他好文 时间：
2020-09-17 18:29:51
阅读次数：
33
第一次部署jenkins，在进行插件安装时报如下错误：【Advance】页签下方有个【UpdateSite】，把其中的链接https改成http的就好了，然后重启jenkins服务。
分类：
其他好文 时间：
2020-09-17 18:29:32
阅读次数：
24
1.修改jenkins插件的源，复制替换。1）yum安装的位置更换[root@iZ2zefucqy81qzjxw07e9bZ~]#cat/var/lib/jenkins/hudson.model.UpdateCenter.xml<?xmlversion=‘1.1‘encoding=‘UTF-8‘?><sites><site><id>default&l
分类：
其他好文 时间：
2020-09-17 17:45:58
阅读次数：
69
注意：这种方式报警采用的是邮件方式，并不包含微信报警方式，因为采用的是国外的docker镜像，主要作用是在kibana中安装配置插件，图形化配置rule告警规则，其实就跟直接编辑告警规则类似 1.创建几个文件夹保存ElastAlert相关配置信息，用来挂载到容器中使用 mkdir -p /mnt/e ...
分类：
其他好文 时间：
2020-09-17 17:25:36
阅读次数：
38
Admin django内置了一个强大的组件叫Admin，提供给网站管理员快速开发运营后台的管理站点。 站点文档： https://docs.djangoproject.com/zh-hans/2.2/ref/contrib/admin/ 辅助文档：https://www.runoob.com/dj ...
分类：
其他好文 时间：
2020-09-17 17:08:11
阅读次数：
23
