1、大数据有哪些特点? valume(大量) velocity(高速) variety(多样) value(低价值密度) 2、什么是大数据? 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类:
其他好文 时间:
2020-11-16 13:51:20
阅读次数:
9
12个行业月均阅读超100亿,看Spark如何助力微博Feed算法提升活跃度#编者按:本文由高可用架构向黄波约稿,介绍黄波在SparkSummitChina2016中的演讲精华,并侧重对微博系统和Feed系统进行了更多的介绍。黄波,2010年加入新浪微博,微博研发中心Feed技术专家,负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理,致力于将分布式计
分类:
编程语言 时间:
2020-11-16 13:06:48
阅读次数:
9
如果说虚拟机是买公寓,容器则相当于合租,有一定的隔离,但是隔离性没有那么好。云计算解决了基础资源层的弹性伸缩,却没有解决 PaaS 层应用随基础资源层弹性伸缩而带来的批量、快速部署问题。于是,容器应运而生。 容器就是 Container,而 Container 的另一个意思是集装箱。其实容器的思想就 ...
分类:
其他好文 时间:
2020-11-13 12:54:30
阅读次数:
6
云原生时代,Java还是Go?Java曾经著名的座右铭:"一次编写,到处运行",已经很过时了,因为现在我们只想在容器里运行代码。在容器里,一个"Justintime"的编译器意义不大。出于这个原因,可能为了更好地适应云计算,Java生态系统正处于转型之中。Oracle的GraalVm允许将字节码编译成Linux可执行文件(ELF),而RadHeat的Quar
分类:
编程语言 时间:
2020-11-13 12:37:46
阅读次数:
10
系统简介车牌识别这个系统,虽然传统,古老,却是包含了所有这四个特侦的一个大数据技术的缩影.在车牌识别中,你需要处理的数据是图像中海量的像素单元;你处理的数据不再是传统的结构化数据,而是图像这种复杂的数据;如果不能在很短的时间内识别出车牌,那么系统就缺少意义;虽然一副图像中有很多的信息,但可能仅仅只有那一小块的信息(车牌)以及车身的颜色是你关心,而且这些信息都蕴含着巨大的价值。也就是说,车牌识别系统
分类:
其他好文 时间:
2020-11-13 12:27:53
阅读次数:
4
1.环境的安装与准备 参考下图: 2.数据库服务的安装与添加(HADOOP,HDFS,HIVE) 如下图所示: 3.华为官网的文档的指导手册(HADOOP,HDFS,HIVE) FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类:
数据库 时间:
2020-11-13 12:11:51
阅读次数:
18
系统简介 车牌识别这个系统,虽然传统,古老,却是包含了所有这四个特侦的一个大数据技术的缩影. 在车牌识别中,你需要处理的数据是图像中海量的像素单元;你处理的数据不再是传统的结构化数据,而是图像这种复杂的数据;如果不能在很短的时间内识别出车牌,那么系统就缺少意义;虽然一副图像中有很多的信息,但可能仅仅 ...
分类:
其他好文 时间:
2020-11-13 12:10:58
阅读次数:
7
常用的存储引擎有以下: Innodb引擎:Innodb引擎提供了对数据库ACID事务的支持。并且还提供了行级锁和外键的约束。它的设计的目标就是处理大数据容量的数据库系统。 MyIASM引擎(原本Mysql的默认引擎):不提供事务的支持,也不支持行级锁和外键。 MEMORY引擎:所有的数据都在内存中, ...
分类:
数据库 时间:
2020-11-12 14:01:35
阅读次数:
9
本周因为一些原因实际开发时间过于零散,因而开发报告未按每日进行总结 但是本周进展也说不上多,这点不太好 花在学习上:20小时 花在代码上:15小时 花在解决问题上:9小时 本周遇到的问题:Hadoop可以正常启动 但是Namenode无法通过浏览器访问(连接被拒绝),离谱的是Secondary Na ...
分类:
其他好文 时间:
2020-11-12 13:43:39
阅读次数:
7
Web抓取的使用正在积极增加,特别是在大型电子商务公司中,Web抓取是一种收集数据以竞争,分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中,学习如何创建基于Python的刮板。深入研究代码,看看它是如何工作的。在当今的大数据世界中,很难跟踪正在发生的一切。对于需要大量信息才能取得成功的企业来说,情况变得更加复杂。但是首先,他们需要以某种方式收集此数据,这意味着他们
分类:
编程语言 时间:
2020-11-12 13:38:18
阅读次数:
7