HDFS解决大数据存储的问题 HDFS优点 高容错性 数据自动保存多个副本 副本丢失后自动恢复 适合批处理 移动计算而非数据 数据位置暴露给计算框架 适合大数据处理 GB、TB、甚至PB级数据 百万规模以上的文件数据量 10K+结点 可构建在廉价机器上（为啥-->因为有高容错性，即使机器挂了数据也不 ...
分类：
其他好文 时间：
2017-09-06 23:51:28
阅读次数：
160
NoSql 为了解决高并发、高可用、高可扩展，大数据存储等一系列问题而产生的数据库解决方案，就是NoSql。 NoSql，叫非关系型数据库，它的全名Not only sql。它不能替代关系型数据库，只能作为关系型数据库的一个良好补充。 redis Redis是使用c语言开发的一个高性能键值数据库。R ...
分类：
其他好文 时间：
2017-08-26 20:43:50
阅读次数：
204
1、什么是大数据？什么是云计算？什么是hadoop？ 大数据现在很火，到底什么是大数据，多大的数据才算大，一般而言对于TB级以上的数据我们成为大数据，对于这些数据它的价值在哪？大数据的价值就是我们大量的数据中分析出有价值的信息，来判断一些行为等等信息。而这些大数据存储在哪？如何进行分析？这就衍生了H ...
分类：
其他好文 时间：
2017-07-12 23:25:38
阅读次数：
248
我接触过的大数据有： 1.美国棱镜计划 2.前几天新闻报道的，苹果公司窃取用户隐私 3.百度的用户搜素习惯统计分析 4.淘宝的用户购物习惯分析，智能推荐宝贝 5.浏览器的智能标签页 ... 最想了解的大数据架构与算法： 1.著名的Google 网页排名算法：PageRank 2.著名的聚类算法：K- ...
分类：
其他好文 时间：
2017-07-05 19:54:03
阅读次数：
114
面对当今大数据存储，设想当mysql中一个表的总记录超过1000W，会出现性能的大幅度下降吗？ 答案是肯定的，一个表的总记录超过1000W，在操作系统层面检索也是效率非常低的 解决方案： 目前针对海量数据的优化有两种方法： 1、大表拆小表的方式（主要有分表和分区两者技术） （1）分表技术 垂直分割 ...
分类：
数据库 时间：
2017-07-02 22:16:03
阅读次数：
346
一、介绍 目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存 ...
分类：
数据库 时间：
2017-06-26 21:11:51
阅读次数：
207
libcurl库中的參数CURLOPT_WRITEFUNCTION所设置的回调函数应该是这种： size_t fun_cb( char *ptr, size_t size, size_t nmemb, void *userdata) 这个回调函数被调用的时机是有响应数据到达,这些数据由ptr指向,大 ...
分类：
Web程序 时间：
2017-06-05 23:57:00
阅读次数：
386
目录 一、Document Store 1.数据模型 1.1 Json 1.2 Google Protocol Buffer 2.MongoDB 2.1 API and Query Model 2.2 Architecture 二、图存储系统 1.图数据模型 2.Neo4j 3.RDF和Sparql ...
分类：
其他好文 时间：
2017-06-02 18:55:24
阅读次数：
266
目录 一、Key-value store 1.Dynamo 1.1 consistence hash 1.2 Quorum机制保证无主节点正确性 1.3 Eventual Consistency 2.Bigtable/Hbase 3.Cassandra 二、Distributed Coordinat ...
分类：
其他好文 时间：
2017-06-02 18:54:36
阅读次数：
191
某菊花厂要把34岁以上的员工都裁退，中年都没到就危机了，票子木有了，工作木有了，连最热爱的数据库都没机会玩了，还好，有一个快速上手玩转大数据的机会！一定要好好珍惜啊！阿里云有一款大数据产品，云HBase，其是基于 Hadoop 的一个分布式数据库，支持海量的PB级的大数据存储，适用于高吞吐的随机读写 ...
分类：
其他好文 时间：
2017-05-22 16:48:37
阅读次数：
167
