出现问题就要记录一下，加深印象，假如下次再次出现相同问题，能够及时找到处理方案，而不是通过搜索引擎海量搜索，节省时间。 当建立私有库后，将仓库地址发给别人是无法直接访问，因为没有权限，此时可以通过设置“协作者”解决这个问题。 输入协作者的github名称或邮箱进行添加，此时协作者就可以成功访问啦~ ...
分类：
其他好文 时间：
2019-05-08 23:09:22
阅读次数：
340
类似订单表，用户表这种未来规模上亿甚至上十亿百亿的海量数据表，在项目初期为了快速上线，一般只是单表设计，不需要考虑分库分表。随着业务的发展，单表容量超过千万甚至达到亿级别以上，这时候就需要考虑分库分表这个问题了，而不停机分库分表迁移，这应该是分库分表最基本的需求，毕竟互联网项目不可能挂个广告牌"今晚10:00~次日10:00系统停机维护"，这得多low呀，以后跳槽面试，你跟面试官说这个迁移方案，面试官怎么想呀？
分类：
其他好文 时间：
2019-05-08 19:06:59
阅读次数：
142
HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File ...
分类：
其他好文 时间：
2019-05-08 00:31:43
阅读次数：
132
1大数据解决的问题？ 海量数据的存储：hadoop->分布式文件系统HDFS 海量数据的计算：hadoop->分布式计算框架MapReduce 2什么是MapReduce? 分布式程序的编程框架，java->ssh ssm ，目的：简化开发！ 是基于hadoop的数据分析应用的核心框架。 mapre ...
分类：
其他好文 时间：
2019-05-02 09:39:18
阅读次数：
137
小结： 1、 海量异构数据的存储问题 如何将不同品类，异构的数据统一存储起来呢？ （1）全品类通用属性统一存储； （2）单品类特有属性，品类类型与通用属性json来进行存储； 2、 入口层是Java研发的，聚合层与检索层都是C语言研发的 3、 （1）数据库提供“帖子id”的正排查询需求； （2）所有 ...
分类：
编程语言 时间：
2019-05-02 00:08:18
阅读次数：
184
写在前面 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 本文主要介绍Spark Streaming基本概念、kafka集成、Offset管理 一、概述 Spark Streaming顾名思义是spark的流式处理框架，是面向海量数据实现高吞吐量、高可用的分布式 ...
分类：
其他好文 时间：
2019-04-30 17:20:59
阅读次数：
145
在大数据环境下，信息敏感属性由原来具体的、明确的属性集，成为散落在海量数据中分散的、模糊的信息碎片
分类：
其他好文 时间：
2019-04-30 10:58:18
阅读次数：
140
websocket的产生背景： 众所周知，Web应用的通信过程通常是客户端通过浏览器发出一个请求，服务器端接收请求后进行处理并返回结果给客户端，客户端浏览器将信息呈现。这种机制对于信息变化不是特别频繁的应用可以良好支撑，但对于实时要求高、海量并发的应用来说显得捉襟见肘，尤其在当前业界移动互联网蓬勃发 ...
分类：
Web程序 时间：
2019-04-29 17:32:56
阅读次数：
148
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入,大家都是软件
分类：
其他好文 时间：
2019-04-28 12:30:06
阅读次数：
125
基于海量数据的主动挖掘，引入机器智能学习算法，挖掘安全威胁，人工智能辅助进行安全决策。利用SDN、NFV技术打造云计算安全平台，实现云环境内安全能力的横向弹性扩展，纵向基于业务系统的灵活定制
分类：
其他好文 时间：
2019-04-28 11:18:51
阅读次数：
120
