前言：最近在做分布式海量数据处理项目，使用到了java的线程池，所以搜集了一些资料对它的使用做了一下总结和探究，前面介绍的东西大多都是从网上搜集整理而来。文中最核心的东西在于后面两节无界队列线程池和有界队列线程池的实例使用以及线上问题处理方案。1. 为什么要用线程池？在Java中，如果每当一个请求到...
分类：
编程语言 时间：
2015-04-03 12:52:38
阅读次数：
237
1，什么是大数据简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。2，大数据最核心的价值 大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。3，大数据处理分析的六大最好工具 Apac...
分类：
其他好文 时间：
2015-03-31 23:47:47
阅读次数：
161
前言 在海量数据库中，分区是一个应用很广泛的技术。例如一款新闻APP的后台数据库，用户访问记录数据表可以通过访问时间来进行范围分区。 根据ORACLE API上的描述，分区可以分为以下三种： 范围分区； 哈希分区； 列表分区； 在实际应用中，还有第四种分区类型：组合分区。范围分区 范围...
分类：
数据库 时间：
2015-03-31 10:35:43
阅读次数：
158
一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据，使数据占用的存储空间比较小，这个过程一般叫压缩。和压缩对应的概念是解压缩，就是将被压缩的数据从特殊编码方式还原为原始数据的过程。压缩广泛应用于海量数据处.....
分类：
其他好文 时间：
2015-03-30 22:24:57
阅读次数：
286
U盘应属于海量存储类。 USB海量存储设备，又包括通用海量存储子类,CDROM,Tape等，U盘实际上属于海量存储类中通用海量存储子类。通用海量存储设备实现上是基于块/扇区存储的设备。 USB组织定义了海量存储设备类的规范，这个类规范包括4个独立的子类规范。主要是指USB总线上的传输方法与存...
分类：
其他好文 时间：
2015-03-30 17:53:39
阅读次数：
317
这一节主要把在实现“linux模拟U盘功能”过程中的一些调试过程记录下来，并加以解析。一、背景知识 1、USB Mass Storage类规范概述 USB 组织在universal Serial Bus Mass Storage Class Spaceification 1.1版本中定义了海量存储设...
分类：
其他好文 时间：
2015-03-30 10:58:06
阅读次数：
236
目录简介指令数据和状态协议CBW指令格式CSWCommand Status Wrapper状态格式SCSI命令集Format UnitInquiryMODE SELECT简介USB Mass storage Device协议即海量存储设备协议适用于硬盘，U盘等大容量存储设备。协议使用的接口端点有Bu...
分类：
其他好文 时间：
2015-03-30 10:54:08
阅读次数：
620
hadoop是什么？WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.在ApacheHadoop项目开发开源软件，可靠，可扩展，分布式计算。解决问题：海量数据的存储（HDFS）海量数据的分析（MapReduce）资源管理调度（YA..
分类：
其他好文 时间：
2015-03-30 09:42:51
阅读次数：
251
一、MapReduce概述
MapReduce 是 Hadoop 的核心组成, 是专用于进行数据计算的，是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入输出信息。
ma...
分类：
其他好文 时间：
2015-03-30 09:33:45
阅读次数：
175
互联网在一步一步的改变我们的生活，早期的互联网只有文字，后来发展到了图片+文字的图文时代，而如今我们已经置身于视频时代之中。当微信微博里遍地都是视频的段子，以图片、视频为主的新媒体时代大大丰富了我们的生活，但同时也给视频网站、电视台等行业工作者带来不小的难题，如何在海量视频中检索到想要的视频？国内知名视频网站爱奇艺借助“文通视频文字识别技术”实现了视频检索轻松化，为视频信息检索打开了一扇新的大门。...
分类：
其他好文 时间：
2015-03-30 09:30:20
阅读次数：
127
