什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群251956502这样大家学习的话就比较方便，还能够共同交流和分享资料什么是大数据，本质？（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算Ja
分类：
其他好文 时间：
2019-07-15 15:58:47
阅读次数：
116
Hadoop的背景起源二：MapReduce 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的计算？分布式计算 （1）什么是PageRank(Ma ...
分类：
其他好文 时间：
2019-07-12 11:24:48
阅读次数：
91
计算机网络：计算机网络是计算机技术与通信技术结合的产物，是自主计算机的互连集合。自主是指每个计算机都是独立的，不存在一台计算机控制另外一台的情况。互连是指两台计算机能够通信，交换数据，而不是指简单地用线缆连接在一起。功能：计算机网络的功能有：资源与数据共享、信息交换、娱乐和分布式计算 OSI七层模型 ...
分类：
其他好文 时间：
2019-07-11 14:12:14
阅读次数：
124
如何编写并行程序？ 协调过程 并行系统的种类 并发计算、分布式计算 因此，并行程序和分布式程序都是并发的 MPI(消息传递接口) ...
分类：
其他好文 时间：
2019-07-08 13:26:16
阅读次数：
123
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各 ...
分类：
其他好文 时间：
2019-07-02 13:26:42
阅读次数：
126
大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是用Java语言开发的一个开源分布式计算平台，适合大数据的分布式存储和计算平台。广义上讲，大数据是时代发展和技术进步的产物。Had
分类：
其他好文 时间：
2019-06-27 12:17:57
阅读次数：
107
简介 记录一个项目的技术实现，主要谈这个项目的大请求的高并发处理这一块。这个项目最终通过多种技术组合，达到削峰填谷地秒级分布式计算大请求的能力，且各服务/接口间的熔断和自动恢复避免了某1个挂起的服务使得其他服务挂起的单点故障。这个项目申请了多份专利 背景 其实项目整体的技术选型本身是一次很有意思的经 ...
分类：
其他好文 时间：
2019-06-26 00:39:16
阅读次数：
114
一、测试或实验性质的本地运行模式 （单机） 该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。 指令示例： 1... ...
分类：
其他好文 时间：
2019-06-24 16:59:16
阅读次数：
217
本次 Meetup 特邀 Apache Flink PMC 与阿里巴巴、快手的技术专家为你解读新特性、分享 Flink 的应用与实践。
分类：
Web程序 时间：
2019-06-19 23:33:05
阅读次数：
299
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术：Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌
分类：
其他好文 时间：
2019-06-18 14:00:57
阅读次数：
109
