随着移动互联网的飞速发展，信息的传输日益方便快捷，端到端的需求也日益突出，纵观整个移动互联网领域，数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命，毋庸置疑，大数据市场是待挖掘的金矿，其价值不言而喻。可以说谁能掌握和合理运用用户大数据的核心资源，谁就能在接下来的技术变革中进一步发展壮大。 ...
分类：
其他好文 时间：
2020-09-18 03:23:40
阅读次数：
24
在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本功能，来决定平台搭建过程中使用的大数据处理工具和框架。 大数据分析平台自下而上一般分为三个部分，分别为：数据层、大数据采集与存储、数据分析及展示。 (1)数据层，针对不同系统进行分析，制定系统数据采集范围与目标，收集各
分类：
其他好文 时间：
2020-09-18 02:05:44
阅读次数：
35
伴随着多雨季节的到来，长江中下游地区百年难遇的洪水灾害，正牵动着全国各地亿万人民的心。而如何使用高新科技武装防汛工作，基本保障广大人民群众的生命财产安全，也变成了当今各个地区政府部门最为急切的研究课题。一、运筹帷幄的“防汛大脑”2020年7月初的一天，由于接连不断的降雨天气和不断上升的水位，浙江省金华市正式发布了暴雨橙色预警。如临大敌的金华防汛办指挥部里，坐满了金华市的领导和相关部门相关工作人员，
分类：
其他好文 时间：
2020-09-17 13:49:05
阅读次数：
46
客户打包买了很多阿里云的产品，但是阿里云不负责实施，基于阿里云产品与客户需求，拟采用的数据中台架构，有类似需求的，可以参考下，拿走不谢！
分类：
其他好文 时间：
2020-07-23 09:27:50
阅读次数：
178
数据算法 Hadoop Spark大数据处理技巧 ...
分类：
编程语言 时间：
2020-07-13 18:11:22
阅读次数：
80
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
redis支持的数据类型：字符串（string）哈希表（hash）列表（list）集合（set）有序集合（zset）位图（bitmaps）HyperLoglogs、GEO等.redis特性如下：速度快：基于内存工作，使用离OS最近的C语言编写，使用单线程架构，预防了多线程可能产生的竞争问题。基于键值对的数据结构服务器：redis中的值不仅仅可以是字符串，关于其支持的数据类型已经在文章开头列出来了。
分类：
其他好文 时间：
2020-07-10 09:58:44
阅读次数：
60
Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
?所谓大数据（Big Data），就是需要处理的数据量非常巨大，已经达到了 TB、PB 甚至 EB、ZB 级别，需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击，只能探索一套新的解决方案。 这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍，包括大数据思维、 ...
分类：
其他好文 时间：
2020-06-26 01:29:48
阅读次数：
95
一、选题与意义 1.Hadoop平台应用 选题：Hadoop平台应用。 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用； 了解大数据处理的基本流程； 熟悉数据预处理方法； 熟悉在不同类型数据库 ...
分类：
其他好文 时间：
2020-06-23 19:18:44
阅读次数：
72
