是新朋友吗？记得先点蓝字关注我哦～不管是做数据分析，还是数据产品，我们的首要工作就是熟悉业务，所有分析都不能脱离实际业务，并且要明确分析问题，需要明白为什么分析，分析什么及如何分析。今天我要整理的是数据产品经理经常需要做的一项工作——业务埋点的需求分析。我们为什么要做业务埋点的需求分析呢？主要是为了明确埋点范围，减少不必要的埋点需求，并且熟悉业务，这可以极大的加快埋点设计的进度。那么，怎么来做业务
分类：
其他好文 时间：
2020-09-10 22:54:35
阅读次数：
46
SpringCloudFlow与ApacheSpark集成点击左上角，关注：“锅外的大佬”专注分享国外最新技术内容帮助每位开发者更优秀地成长1.简介SpringCloudDataFlow是用于构建数据集成和实时数据处理管道的工具包。在这种情况下，管道(Pipelines)是使用SpringCloudStream或SpringCloudTask框架构建的SpringBoot应用程序。在本教程中，我们
分类：
编程语言 时间：
2020-09-07 19:17:49
阅读次数：
55
别只会一股脑的String -> POJO了，Jackson优雅灵活的树模型你值得拥有
分类：
Web程序 时间：
2020-08-31 13:27:52
阅读次数：
81
org.apache.spark.scheduler.DAGScheduler#submitMissingTasks => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure out the indexes ...
分类：
其他好文 时间：
2020-08-28 14:42:00
阅读次数：
47
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst ...
分类：
系统相关 时间：
2020-08-27 11:48:09
阅读次数：
63
在机器学习的流程中数据挖掘是重要的一环。数据挖掘是从大量数据中提取隐藏的或未知，但可能有用信息的过程。今天给大家介绍10个最强的数据挖掘工具，欢迎小伙伴们收藏起来。1.KNIMEKNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够
分类：
其他好文 时间：
2020-08-24 16:32:14
阅读次数：
59
背景最近有个学弟找到我，跟我描述了以下场景：他们公司内部管理系统上有很多报表，报表数据都有分页显示，浏览的时候速度还可以。但是每个报表在导出时间窗口稍微大一点的数据时，就异常缓慢，有时候多人一起导出时还会出现堆溢出。他知道是因为数据全部加载到jvm内存导致的堆溢出。所以只能对时间窗口做了限制。以避免因导出过数据过大而引起的堆溢出。最终拍脑袋定下个限制为：导出的数据时间窗口不能超过1个月。虽然问题解
分类：
其他好文 时间：
2020-08-20 19:02:26
阅读次数：
87
分布式系统面临的问题： 复杂分布式体系结构中的应用程序有数十个依赖关系，每个依赖关系在某些时候将不可避免的失败。 Hystrix 是什么： Hystrix 是一个用于处理分布式系统延迟和容错的开元库，在分布式系统里，许多依赖不可避免的会调用失败，比如超时、异常等。。。 Hystrix能够保证在一个依 ...
分类：
其他好文 时间：
2020-08-18 13:52:25
阅读次数：
68
1.mapReduce 的shuffle 过程 ： https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类：
其他好文 时间：
2020-08-13 12:10:50
阅读次数：
53
一、概述 当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册 ...
分类：
其他好文 时间：
2020-08-13 12:07:11
阅读次数：
88
