消息队列 为什么用? 解耦，削峰，异步 基本模型 生产者 -> MQ -> 消费者 Kafka 十万级/s 适用于大数据领域实时计算，日志采集, ActiveMQ 万/s , RabbitMQ 万/s , RocketMQ 十万/s 造成问题及解决 1.系统可用性降低 (MQ发生故障，全崩了) 2. ...
分类：
其他好文 时间：
2020-06-24 19:24:18
阅读次数：
68
0：数据库架构 & 常见模块 Q1：为什么是disk-oriented架构？ 磁盘很慢。那么问题来了，磁盘慢为啥还要用呢？ 磁盘便宜。磁盘比内存那不是便宜了一点啊。 比内存大。数据往往很大，如果单纯的就用内存，那么多的数据存在哪。 永久存储。内存掉电数据就没了。 Q2：如果用了磁盘又会引入哪些问题？ ...
分类：
数据库 时间：
2020-06-24 13:57:11
阅读次数：
59
近期，巨杉数据库入选2020年“广州市大数据优秀案例”，展现技术创新和行业实践“硬实力”。 ...
分类：
数据库 时间：
2020-06-24 13:50:29
阅读次数：
76
Sqoop基本使用 一、Sqoop 基本命令 1. 查看所有命令 # sqoop help 2. 查看某条命令的具体使用方法 # sqoop help 命令名 二、Sqoop 与 MySQL 1. 查询MySQL所有数据库 通常用于 Sqoop 与 MySQL 连通测试： sqoop list-da ...
分类：
其他好文 时间：
2020-06-24 13:41:06
阅读次数：
49
Redis简介 ： Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add ...
分类：
其他好文 时间：
2020-06-24 00:10:57
阅读次数：
89
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 选择1.淘宝双11数据分析与预测 理由：之前接触过hadoop，所以打算重新把这个回忆起来。 意义：双十一的利益与我们密切相关，分析好了在双十一有可能可以更大折扣。 二、实践方案 简要说明理由。 利用虚拟机 ...
分类：
其他好文 时间：
2020-06-23 21:44:11
阅读次数：
74
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 选题： Hadoop 平台应用 网站用户购物行为分析 官网：http://dblab.xmu.edu.cn/post/7499/ 理由：感兴趣 意义：可以对用户购物行为进行分析 二、实践方案 个人电脑安装实 ...
分类：
其他好文 时间：
2020-06-23 21:41:43
阅读次数：
58
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 二、实践方案 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 第天根据实际情况更新计划表，有必要时调整。 1、选题：淘宝双11数 ...
分类：
其他好文 时间：
2020-06-23 21:28:04
阅读次数：
54
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 本次实践选题为“2.Kaggle分析数据项目”， 二、实践方案 简要说明理由。 三、实践任务分解 根据所选的题目，明确实验步骤，分解任务到每天。 四、实践计划 按任务分解撰写计划表，每天按计划表开展工作。 ...
分类：
其他好文 时间：
2020-06-23 21:26:24
阅读次数：
55
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 答：我选择Hadoop平台应用-淘宝双11数据分析与预测，以前接触过Hadoop，但是有点忘记，可以重新复习一下，进一步熟悉linux命令，。 二、实践方案 简要说明理由。 答：个人电脑安装实验环境。 三、 ...
分类：
其他好文 时间：
2020-06-23 21:21:52
阅读次数：
66
