大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习大数据，小
分类：
其他好文 时间：
2019-05-01 11:57:36
阅读次数：
141
ASP.NET Redis 开发 文件并发(日志处理)--队列--Redis+Log4Net Redis简介 Redis是一个开源的，使用C语言编写，面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适应高并发的应用场景。Redis纯粹为应用而产生，它是一个高性能的key ...
分类：
Web程序 时间：
2019-04-28 17:08:31
阅读次数：
136
什么是NoSql 概念 SQL: 结构化查询语言 -- 用到关系型数据库 NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，它泛指非关系型的数据库。随着互联网2003年之后web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的交友类型 ...
分类：
数据库 时间：
2019-04-25 20:11:43
阅读次数：
172
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集 ...
分类：
其他好文 时间：
2019-04-23 15:39:37
阅读次数：
163
背景： 1. 一些项目的基础功能会有Audit Trace, 以记录系统用户所做过的所有记录。 2. 实时备份数据，比如mysql主从复制，一个用于面向应用，一个用于对应用数据库的实时备份。 3. 实时收集关系型数据库变更，将数据保存在nosql数据库中，以提供快速检索，一个较为实用的场景就是实现地 ...
分类：
数据库 时间：
2019-04-18 17:06:22
阅读次数：
943
Redis是一个key-value的nosql数据库.先存到内存中，会根据一定的策略持久化到磁盘,即使断电也不会丢失数据。支持的数据类型比较多。主要用来做缓存数据库的数据和web集群时当做中央缓存存放seesion。守护进程：在linux或者unix操作系统中在系统引导的时候会开启很多服务，这些服务就叫做守护进程。为了增加灵活性，root可以选择系统开启的模式，这些模式叫做运行级别，每一种运行级别
分类：
编程语言 时间：
2019-04-12 16:25:42
阅读次数：
191
主要功能： 1、存储：HDFS 2、分析/运算：Mapreduce 3、调度：YARN 存储： hdfs分布式文件存储系统，是nosql数据库，每台节点服务器都是hdfs的部分，大数据平均分布在每个节点上，并且是以文件存储的形式，每个节点上存储的部分数据有通过块来进行数据文件的分片，形成数据块，每个 ...
分类：
其他好文 时间：
2019-04-06 23:03:41
阅读次数：
139
《MongoDB游记之轻松入门到进阶》代码下载，看看有没有用 http://pan.baidu.com/s/1boKG28R https://item.jd.com/12236244.html MongoDB作为最受欢迎的文档存储类型的NoSQL数据库，越来越多的公司在使用它。本书以符合初学者的思维 ...
分类：
数据库 时间：
2019-03-30 21:40:16
阅读次数：
211
分类 Examples举例 典型应用场景 数据模型 优点 缺点 键值（key-value） Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB 内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。 Key 指向 Value 的键值对， ...
分类：
数据库 时间：
2019-03-25 20:33:58
阅读次数：
275
Redis的的是完全开源免费的，遵守BSD协议，是一个高性能的键值数据库。是当前最热门的的的NoSql数据库之一，也被人们称为数据结构服务器。 优点： 1 读写性能优异 2 支持数据持久化，支持AOF和RDB两种持久化方式 3 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离。 4 数据结 ...
分类：
其他好文 时间：
2019-03-21 18:47:55
阅读次数：
194
