批量执行检查脚本： #!/bin/bash file_name="$1" if [ -z "$file_name" ];then echo "Pls input file path" exit 1 fi cat "$file_name"| while read line do hadoop fsck ...
分类：
其他好文 时间：
2020-06-24 17:58:36
阅读次数：
56
在当今的云计算世界中，对象存储是一种使用HTTP API存储和检索非结构化数据和元数据对象的工具。这样的服务不是将文件分成块并使用文件系统将它们存储在磁盘上，而是与存储在网络上的整个对象一起工作。
分类：
其他好文 时间：
2020-06-24 16:22:30
阅读次数：
382
数据准备：【1】mysql数据库导出，以逗号间隔，方便后期解析【2】提交服务器：rz 上传到Linux虚拟机中【3】提交到集群中：hadoop fs –put emp.csv /input搁浅：关闭安全模式：hdfs dfsadmin -safemode leave实现简单的输入内容到文件： -ec... ...
分类：
其他好文 时间：
2020-06-24 15:54:09
阅读次数：
61
云计算数据安全的未来是可编程的吗？ 不言而喻，事后考虑的安全性和隐私性会导致许多问题、漏洞和需要定制的安全产品的复杂性。 安全漏洞并非孤立发生的。这是一系列事件，涉及多个利益相关者以创建一个系统或一个被破坏的系统。所有利益相关者可能将它们称为组件，所有涉及的组件都可以发挥广泛的作用。尽管该组织是这个 ...
分类：
其他好文 时间：
2020-06-24 15:42:23
阅读次数：
52
0：数据库架构 & 常见模块 Q1：为什么是disk-oriented架构？ 磁盘很慢。那么问题来了，磁盘慢为啥还要用呢？ 磁盘便宜。磁盘比内存那不是便宜了一点啊。 比内存大。数据往往很大，如果单纯的就用内存，那么多的数据存在哪。 永久存储。内存掉电数据就没了。 Q2：如果用了磁盘又会引入哪些问题？ ...
分类：
数据库 时间：
2020-06-24 13:57:11
阅读次数：
59
近期，巨杉数据库入选2020年“广州市大数据优秀案例”，展现技术创新和行业实践“硬实力”。 ...
分类：
数据库 时间：
2020-06-24 13:50:29
阅读次数：
76
Sqoop基本使用 一、Sqoop 基本命令 1. 查看所有命令 # sqoop help 2. 查看某条命令的具体使用方法 # sqoop help 命令名 二、Sqoop 与 MySQL 1. 查询MySQL所有数据库 通常用于 Sqoop 与 MySQL 连通测试： sqoop list-da ...
分类：
其他好文 时间：
2020-06-24 13:41:06
阅读次数：
49
/bin/目录下下 sh zkCli.sh 进入客户端目录下： 查看根目录 [zk: localhost:2181(CONNECTED) 11] ls /[cluster, controller, brokers, zookeeper, admin, isr_change_notification, ...
分类：
其他好文 时间：
2020-06-24 00:40:09
阅读次数：
206
一、课前准备 1. 3节点hadoop集群 2. 安装IDEA 3. 安装maven并配置环境变量 二、课堂主题 1. 围绕MapReduce分布式计算讲解 三、课堂目标 1. 理解MapReduce编程模型 2. 独立完成一个MapReduce程序并运行成功 3. 了解MapReduce工程流程 ...
分类：
其他好文 时间：
2020-06-24 00:32:41
阅读次数：
54
Redis简介 ： Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add ...
分类：
其他好文 时间：
2020-06-24 00:10:57
阅读次数：
89
