1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类：
其他好文 时间：
2020-06-27 21:42:37
阅读次数：
90
Hadoop的核心由3个部分组成： HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。 YARN: Yet Another Resource Negotiator，资 ...
分类：
其他好文 时间：
2020-06-27 18:39:42
阅读次数：
68
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
DDL数据定义 4.1 创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=prop ...
分类：
其他好文 时间：
2020-06-26 16:46:06
阅读次数：
72
①编辑core-site.xml，添加内容如下： <!--指定hdfs的nameservice，为整个集群起一个别名,在zookeeper上注册的名称--> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </propert ...
分类：
其他好文 时间：
2020-06-26 16:18:37
阅读次数：
53
多核片上系统（SoC）架构的嵌入式DSP软件设计 Multicore a System-on-a-Chip (SoC) Architecture SoCs的软件开发涉及到基于最强大的计算模型在各种处理单元之间划分应用程序。这可能需要大量的试用anderror来建立正确的分区。在高层次上，SoCpar ...
分类：
其他好文 时间：
2020-06-26 16:18:10
阅读次数：
56
Hadoop 生态系统 Hbase：HBase 是一个建立在 HDFS 之上，面向列的 NoSQL 数据库，用于快速读 / 写大量数据，HBase 使用 Zookeeper 进行管理。 Zookeeper：用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，它运 ...
分类：
其他好文 时间：
2020-06-26 14:54:11
阅读次数：
64
AI芯片体系结构目标图形处理 AI chip architecture targets graph processing 可编程图形流处理器（GSP）能够执行“直接图形处理、片上任务图管理和执行以及任务并行性”。设计GSP是为了满足人工智能处理的需求，而这些需求以前是GPU、CPU或DSP无法满足的 ...
分类：
其他好文 时间：
2020-06-26 10:45:50
阅读次数：
69
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类：
Web程序 时间：
2020-06-25 17:58:43
阅读次数：
54
