//使用MapReduce框架完成二次排序 // 主要原理使用组比较器完成排序再规约 // 环境 由于IDEA不会本地提交MR任务转到eclipse //代码如下 package com.swust.mapreduce; import java.io.IOException; import org. ...
分类：
其他好文 时间：
2020-04-27 19:34:20
阅读次数：
80
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
编程语言 时间：
2020-04-27 15:01:34
阅读次数：
90
数据分析是对数据进行详细研究和总结的过程，以便提取有用的信息并形成结论。大数据分析的出发点来自于企业的某些场景需求。根据需求目标，构建分析框架，通过对多个指标和纬度的全方位深入分析，提取企业数据，并利用相应的BI工具实现分析过程，最后提炼结论，通过可视化大屏展示，挖掘问题和提供策略。 1、场景 因为互联网行业的高速发展，数据分析BI工具也开始走入人们的视线，越来越多的企业开始意识到人工智能
分类：
其他好文 时间：
2020-04-26 23:52:49
阅读次数：
222
大数据根基于互联网，数据仓库、数据挖掘、云计算等互联网技术的发展为大数据应用奠定基础。对于任何一个大数据的从业者、初接触者，或者都会有个共同的感触：大数据很有用！那么大数据分析平台如何构建成了时下研究的热点。 大数据并不是一场市场炒作。对于许多跨多个垂直的组织而言，大数据是真实存在的，而且它正在改变数据中心的架构。随着数据量、数据处理速度和数据类型的复杂度以远超标准前端和后台处理能力的速度增
分类：
其他好文 时间：
2020-04-25 10:29:03
阅读次数：
85
随着大数据技术与物联网、云计算、人工智能等新技术的相互融合***，多技术融合的新应用正在不断涌现，大数据已广泛应用于各个领域。我国大数据产业发展快速增长，产业规模不断扩大，产业链条加速完善，企业实力不断增强。围绕大数据智能应用、用户行为画像、可视化分析等创新服务模式的公司正在快速崛起，涌现出一批像思迈特软件、帆软、神策数据以及东软等一批优秀企业。1、大数据BI产业链结构分析大数据BI产业链结构总体上
分类：
其他好文 时间：
2020-04-13 23:15:12
阅读次数：
289
前言：近几年来数据中台概念大火，市面上掀起了一波建业务中台、数据中台热潮，那么数据中台到底是什么？它的出现能解决什么问题呢？首先数据中台的概念最早由阿里提出，自从阿里提出了“大中台，小前台”概念之后，数据中台这个概念火了起来，不少企业，无论是互联网企业还是传统企业纷纷搭建起了自家的数据中台，究竟数据中台有什么魅力，能让企业如此重视？本文主要从数据中台是什么、怎么做数据中台和为什么要做数据中台三个方
分类：
其他好文 时间：
2020-04-13 01:10:47
阅读次数：
85
美国政府依托其不断发展完善的威胁情报共享技术，构建了名为“网络天气地图”的威胁情报管理体系，如下图所示： “网络天气地图”的威胁情报管理体系运行过程以及每个过程中的关键信息如下所述： 1. 通过国家网络安全保护系统与互联网中相关的探测器关联，收集相关的威胁情报信息； 2. 利用大数据分析技术，并结合 ...
分类：
其他好文 时间：
2020-04-12 22:10:58
阅读次数：
99
机器学习如何帮助解决大数据转换和管理问题 尽管大数据分析技术取得了惊人的进步，但我们在很大程度上仍需要手动来完成重要任务，例如数据转换和数据管理。随着数据量的增长，手动完成任务与自动化产生的生产力差距越来越大，这使得以人工智能和机器学习为基础的自动化趋势越来越有市场。机器学习可以帮助缩小这一差距吗？ ...
分类：
其他好文 时间：
2020-04-10 15:53:23
阅读次数：
65
前三并没有什么悬念，依然是Java，C，Python。C与Java的差距正在缩小，不过我们不用担心，在大数据分析领域Java,Python依然都是不可或缺的。 基于图形的基于块的编程语言Scratch已进入前20名。乍一看，对于旨在教孩子如何编程的编程语言来说，这似乎有些奇怪。但是，如果考虑到Scr ...
分类：
编程语言 时间：
2020-04-05 22:19:35
阅读次数：
85
