https://www.cnblogs.com/evablogs/p/6692947.html dict： 键-值（key-value）对集合{key：value}，查找速度极快，但浪费内存。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 ...
分类：
编程语言 时间：
2019-04-29 15:54:32
阅读次数：
159
文 |彭超 瓜子大数据架构师 交流微信 | datapipeline2018 一、为什么选择Kafka 为什么选Kafka？鉴于庞大的数据量，需要将其做成分布式，这时需要将Q里面的数据分到许多机器上进行存储，除此之外还有分布式的计算需求。同时需要支持多语言，如Java、GO、php等，另外还有高可用 ...
大数据已经融入到各行各业，哪些大数据技术是最受欢迎？哪些大数据技术潜力巨大？请听大讲台老师对10个最热门的大数据技术的介绍。 大数据学习群：199427210 （一）预测分析 预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模 ...
分类：
其他好文 时间：
2019-04-26 13:36:05
阅读次数：
118
在 2006 年的 OSDI 上，Google 发布了名为 Bigtable: A Distributed Storage System for Structured Data 的论文，其中描述了一个用于管理结构化数据的分布式存储系统 Bigtable 的数据模型、接口以及实现等 ...
分类：
数据库 时间：
2019-04-17 09:52:54
阅读次数：
185
DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能。Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询。 从上面的图中可以看出DataFrame和RDD的区别。RDD是分布式的 Jav ...
分类：
其他好文 时间：
2019-04-13 11:01:32
阅读次数：
108
1 基本介绍 1.1 前言 HBase – Hadoop Database。是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提 ...
分类：
其他好文 时间：
2019-04-06 23:02:55
阅读次数：
729
Spark 一种基于内存的快速、通用、可扩展的大数据分析引擎； 内置模块： Spark Core(封装了rdd、任务调度、内存管理、错误恢复、与存储系统交互)； Spark SQL(处理结构化数据)、Spark Streaming(对实时数据进行流式计算) 、 Spark Mlib（机器学习程序库包 ...
分类：
其他好文 时间：
2019-04-06 00:35:59
阅读次数：
155
卷积网络(CNN)通常用于图像数据。递归神经网络(RNN)非常适合一维序列，数据可能是一个时间组成部分。计算机理解非结构化数据相对更难，如音频，图像像素值或文本中的单个单词。如今最可靠的方法来在神经网络上获得更好的性能，往往就是要么训练一个更大的神经网络，要么投入更多的数据，仅仅通过将Sigmoid ...
分类：
其他好文 时间：
2019-03-31 23:26:53
阅读次数：
267
随着机器视觉技术及其相关技术的不断提升，无论是图像结构化的算法还是算力均在进步，虽然算法的进步已有限。而人工智能技术的螺旋上升极有可能会将技术热点从图像识别带入到机器人、语言识别、自然语言处理和专家系统这四个大领域中，因此未来人脸大数据系统的发展将主要呈现以下三大趋势： 首先，人脸大数据系统将进一步凸显“大数据”的能力，一线厂商与二三级厂商在“人脸”领域的差距将进一步缩小，而对结构化数据的实时、
分类：
其他好文 时间：
2019-03-29 19:26:28
阅读次数：
175
mongo和传统型数据库相比,最大的不同:传统型数据库:结构化数据,定好了表结构后,每一行的内容,必是符合表结构的,就是说--列的个数,类型都一样.mongo文档型数据库:表下的每篇文档,都可以有自己独特的结构(json对象都可以有自己独特的属性和值)思路:如果有电影,影评,影评的回复,回复的打分在传统型数据库中,至少要4张表,关联度非常复杂.在文档数据库中,通过1篇文档,即可完成.体现出文档型数
分类：
数据库 时间：
2019-03-16 20:49:25
阅读次数：
200
