来源：大数据算法 王宏志 一、概述 大数据定义：在给定的资源约束下，以大数据为输入，在给定时间约束内可以生成满足给定约束结果的算法。 大数据特点：4V 大数据算法可以不是： 精确算法 内存算法 串行算法 仅在电子计算机上运行的算法 大数据算法不仅是： 云计算 MapReduce 大数据分析和挖掘的算 ...
分类：
编程语言 时间：
2019-09-20 12:45:12
阅读次数：
229
广西弘轩文化投资有限公司主要经营业务有：图书、图书馆设备、教学仪器设备等，公司自主研发无人自助智能书柜，提供大数据分析平台，图书馆智能化互联网+服务，让图书馆走出去，更高效的推广“全民阅读”。公司目前通过GB/T19001-2016/ISO9001:2015质量管理体系认证、GB/T24001-2016/ISO14001:2015环境管理体系认证、GB/T28001-2011/OHSAS职业健康安
分类：
其他好文 时间：
2019-09-19 21:14:15
阅读次数：
88
Python3实战Spark大数据分析及调度 搜索QQ号直接加群获取其它学习资料：517432778 部分课程截图： 链接：https://pan.baidu.com/s/1YMmswv47fOUlt-z2A6691A 提取码：z5xv PS：免费分享，若点击链接无法获取到资料，若如若链接失效请加群 ...
分类：
编程语言 时间：
2019-09-18 01:31:42
阅读次数：
1530
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-09-16 16:05:57
阅读次数：
119
Spark分布式执行涉及的组件 每个Spark应用都由一个 驱动程序 来发起集群上的各种并行操作，驱动程序通过一个 SparkContext对象 访问Spark；驱动程序管理多个 执行器节点 ，可以用SparkContext来创建RDD。 RDD(Resilient Distributed Data ...
分类：
其他好文 时间：
2019-09-02 00:10:07
阅读次数：
110
一、Azkaban 介绍 1.1 背景 一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题： 如何定时调度某个任务？ 如何在某个任务执行完成后再去执行另一个任务？ 如何 ...
分类：
其他好文 时间：
2019-09-01 10:33:11
阅读次数：
86
1大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息增长。主要解决海量的存储和海量数据的分析计算问题。1.1大数据的特点Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）1.2大数据应用场景物流仓储：大数据分析系统助力商家精细化运营、提
分类：
其他好文 时间：
2019-08-31 09:13:55
阅读次数：
115
大数据主导的七大领域，看看你是否身处其中 在《大数据：一场改变如何我们生活，工作和思考方式的革命》一书中，Viktor Mayer-Sch?nberger和Kenneth Cukier认为，“大数据分析是一种革命性的工具，主要用于商业，科学，研究，媒体行业，和社交生活。”大数据跨越了标准技术产业的高 ...
分类：
其他好文 时间：
2019-08-30 18:51:17
阅读次数：
84
Spark入门 一、 课程目标 目标1：熟悉Spark相关概念 目标2：搭建一个Spark集群 目标3：编写简单的Spark应用程序 二、 Spark概述 2.1什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞 ...
分类：
其他好文 时间：
2019-08-26 00:38:34
阅读次数：
67
分析针对{历史数据，每天的增量数据} 站长工具 seo 优化， pageRank http://seo.chinaz.com/www.taobao.com PV (page view ） UV(user view) 页面访问量，用户访问量 一针对增量数据进行分析。 设定淘宝300G/每天； 唯品会访... ...
分类：
其他好文 时间：
2019-08-25 14:02:37
阅读次数：
216
