本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用 ...
分类：
其他好文 时间：
2020-06-22 18:50:44
阅读次数：
295
金融RPA的2个典型应用：数据比对和回单打印一、合规部门数据比对流程自动化数据比对流程，通常是一些金融服务机构的一个小流程，但对于大部分企业或者员工而言，却是日常工作流程。1、流程拆分数据比对流程包括数据的获取、合并、比对，以及报告的生成、邮件的发送等环节。2、业务特点（1）数据来源广泛，数据文档来自多个系统、获取文档次数频繁。（2）数据处理量庞大，每天需要处理1000多条数据。（3）操作简单但繁
分类：
其他好文 时间：
2020-06-22 18:45:19
阅读次数：
58
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
本文使用tensorflow2, 并采取一种较为通用的数据处理手段，并分别手动构建简单模型， 层数较深的resnet网络，和基于VGG19的迁移学习，以帮助初学者快速在小数据集上搭建模型，并训练一个较为满意的结果。 ...
分类：
其他好文 时间：
2020-06-21 23:44:53
阅读次数：
98
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是Numpy专题第6篇文章，我们一起来看看Numpy库当中剩余的部分。 数组的持久化 在我们做机器学习模型的研究或者是学习的时候，在完成了训练之后，有时候会希望能够将相应的参数保存下来。否则的话，如果是在Notebook当中，当Note ...
分类：
其他好文 时间：
2020-06-21 23:23:53
阅读次数：
43
常规软件无法在规定时间内处理完成的数据 bit Byte KB MB GB TB PB EB ZB YB BB NB DB ...
分类：
其他好文 时间：
2020-06-21 21:41:47
阅读次数：
41
这是一个基于Spring Boot + Vue的直播数据可视化系统，实现了直播数据的可视化展示、分级权限管理、警报数据流处理、报表的统计与文件导出、实时事件通知等功能。 后端地址：LBMS 前端地址：LBMS-Web 预览 **实时数据总览页：**该页面根据用户身份自动重定向。页面上方通过四个卡片展 ...
分类：
其他好文 时间：
2020-06-21 19:32:43
阅读次数：
129
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-06-21 13:51:48
阅读次数：
57
一.前期准备，抓取HTML我们所需要关键信息 目标url：https://search.jd.com/Search?keyword=shouji&enc=utf-8&wq=shouji&pvid=a1727a28a24544829b30ef54d049feae 目标url其中page可以换页可以更改 ...
分类：
其他好文 时间：
2020-06-19 23:24:55
阅读次数：
119
从2015年开始，数据可视化大屏备受很多企业青睐，也是展现公司业务数据的不二之选。可视化大屏怎么这么火？领导天天要，业务人员、开发人员、UI设计师就得一起熬夜加班。那么，有没有一种简单高效、还能快速上手的可视化工具，小白也可以快速上手的工具呢？ 当然有！小编今天给大家介绍一款实时可视化大屏，不仅支持 ...
分类：
其他好文 时间：
2020-06-19 20:54:58
阅读次数：
68
