环境准备 linux系统( CentOS 7) Xshell Xftp Navicat python3.6 httprunnermanager包 docker python安装 1.yum安装依赖包 避免后面出现少包的问题 > yum -y install zlib-devel bzip2-deve ...
分类:
Web程序 时间:
2020-05-24 00:39:04
阅读次数:
81
Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生,再到转换和输出,这个过程由于网络和反压的原因会导致消息乱序。因此,需要有一个机制来解决这个问题,这个特别的机制就是“水位线”。 Flink 的窗口和时间根据窗口数据划分的不同,目前 Flink ...
分类:
其他好文 时间:
2020-05-23 16:25:22
阅读次数:
53
部署环境: 1.mysql做数据存储 2.nginx默认开启80端口,用于接受用户的web请求 3.tomcat默认8080端口开启,用来接收nginx转发的web请求。 环境部署与实现。 (1)安装JDK 1. 安装依赖环境 yum -y installl gcc 2.解压jdk,并且移动到指定的 ...
分类:
编程语言 时间:
2020-05-23 10:00:35
阅读次数:
61
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将从模型角度入手带领大家来再次深入Alink。 ...
分类:
其他好文 时间:
2020-05-23 09:58:18
阅读次数:
99
问题描述: 昨天晚上都下班了,突然领导发消息实时数据没有了,我去什么鬼,我记得我走的时候数据还是正常启动的,怎么就没数据那, 我们数据是通过flink 从kafka 消费数据,然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现,程序挂掉了,什么情况。好 ...
分类:
其他好文 时间:
2020-05-22 19:12:15
阅读次数:
88
Flink监控信息写入到PushGateway出现 java.io.IOException: Response code from http xx was 200问题 ...
分类:
编程语言 时间:
2020-05-22 17:03:01
阅读次数:
246
 ...
近日,阿里云推出机器学习PAI两大新品DSW 2.0 & Alink商业版,机器学习PAI产品家族,覆盖了机器学习的数据处理、建模、训练、模型优化、在线预测的全产品线,用户既可以搭建完整的个性化推荐系统,让CTR提高10%+; 也可以使用Blade进行深度学习模型进行优化,节省GPU消耗50%。本次推出的DSW 2.0 半托管的模式,具有权限更开放、体验更优、成本更低的特点,而Alink商业版,基于开源实时算法库Alink半托管商业化服务,兼具完整性和灵活性,可以让每个企业和开发者更加方便地使用机器学习技术。
分类:
其他好文 时间:
2020-05-22 00:23:10
阅读次数:
95
2 命题方向 每团队3-5人,请使用目前流行的大数据框架与分析挖掘工具,如:Hadoop、Spark、R、Flink、TensorFlow语言等,完成一个实用的软件系统,为行业、企业或个人生活提供有益的支持。选题方向可结合(但不限于)以下方面: (1)互联网数据或者传统信息管理系统数据的获取与分析: ...
分类:
其他好文 时间:
2020-05-21 19:02:38
阅读次数:
65
一、 Git环境部署及使用 1. Git/GitHub/GitLab Git: 目前最先进的分布式版本控制系统 GitHub: 全球最大的面向开源及私有软件项目的托管平台,免费注册并且可以免费托管开源代码。 GitLab 与GitHub类似,也是属于第三方基于Git开发的产品,不同的是:GitLab ...
分类:
其他好文 时间:
2020-05-19 22:42:20
阅读次数:
70