数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
Linux是一个多用户的操作系统，引入用户，可以更加方便管理Linux服务器，系统默认需要以一个用户的身份登录，而且在系统上启动进程也需要以一个用户身份器运行，用户可以限制某些进程对特定资源的权限控制。 本章介绍Linux系统如何管理创建、删除、修改用户角色、用户权限配置、组权限配置及特殊权限深入剖 ...
分类：
系统相关 时间：
2021-07-09 17:54:35
阅读次数：
0
今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde ...
分类：
其他好文 时间：
2021-07-09 17:52:26
阅读次数：
0
一.简介 xgboost在集成学习中占有重要的一席之位，通常在各大竞赛中作为杀器使用，同时它在工业落地上也很方便，目前针对大数据领域也有各种分布式实现版本，比如xgboost4j-spark,xgboost4j-flink等。xgboost的基础也是gbm，即梯度提升模型，它在此基础上做了进一步优化 ...
分类：
编程语言 时间：
2021-07-05 19:03:36
阅读次数：
0
IPFS分布式存储全面运用落地之后，FIL币的价值才达到最巅峰。恐怕每个人都明白了一个道理，顺势而为，即做事要顺势，不能逆势而行，这样才更容易成功。现实的法则，生存的法则是这样的。?如今，区块链、数字经济也是如此，抓住“机会”，就能被时代潮流推到成功的彼岸，而这一机遇也是 IPFS作为整个区块链唯一 ...
分类：
其他好文 时间：
2021-07-05 18:21:09
阅读次数：
0
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第九篇，介绍 horovod on spark 如何启动。 ...
分类：
其他好文 时间：
2021-07-05 17:30:40
阅读次数：
0
如今大数据行业十分火热，本人认为python是比较强大的分析工具，在网易云课堂上学习了python数据分析。做了案例，写下代码分析过程以及分析结论。 以下是电商打折套路的python数据分析项目。 # -*- coding: utf-8 -*- """ Created on Wed Jan 9 15 ...
分类：
编程语言 时间：
2021-07-02 16:39:07
阅读次数：
0
import com.hankcs.hanlp.HanLPimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.immutable.StringO ...
分类：
其他好文 时间：
2021-07-02 16:33:14
阅读次数：
0
import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}// 创建一个本地模式的StreamingContext, 两个工作线程， 1s的批处理间隔//Master要求 ...
分类：
其他好文 时间：
2021-07-02 16:32:11
阅读次数：
0
“云”自定义问世之日起，已踏过悠长的十四年。 从前期鲜有人知的技术性专有名词到现如今社会经济发展趋势的三级火箭，aws峰会已慢慢变成各行各业、不一样规模公司企业战略转型的关键线路。而伴随着云计算技术市场容量持续提高，其全产业链条也慢慢详细起來。对受限于技术性、优秀人才等要素的公司而言，要想“使用云服 ...
分类：
其他好文 时间：
2021-07-02 16:25:15
阅读次数：
0
