一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类：
其他好文 时间：
2021-04-20 15:02:06
阅读次数：
0
Docker Hadoop 配置常见错误及解决办法 问题1：wordcount运行卡住，hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下： 1. 修改mapred-site.xml配置，配置文件在Ha ...
分类：
其他好文 时间：
2021-04-20 14:54:20
阅读次数：
0
市场上常见的消息队列有如下： ActiveMQ：基于JMS ZeroMQ：基于C语言开发 RabbitMQ：基于AMQP协议，erlang语言开发，稳定性好 RocketMQ：基于JMS，阿里巴巴产品 Kafka：类似MQ的产品；分布式消息系统，高吞吐量 用rabbitmq比较多 ...
分类：
其他好文 时间：
2021-04-19 15:27:26
阅读次数：
0
什么是RPC 维基百科是这么定义RPC的： 在分布式计算，远程过程调用（英语：Remote Procedure Call，缩写为 RPC）是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间（通常为一个开放网络的一台计算机）的子程序，而程序员就像调用本地程序一样，无需额外地为这个 ...
分类：
其他好文 时间：
2021-04-19 15:07:49
阅读次数：
0
1. kafka介绍 1.1. 主要功能 根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka ...
分类：
其他好文 时间：
2021-04-19 14:59:09
阅读次数：
0
分布式业务系统，把原来用java开发的一个大块系统，给拆分成多个子系统，多个子系统之间互相调用，形成一个大系统的整体。假设原来你做了一个OA系统，里面包含了权限模块、员工模块、请假模块、财务模块，一个工程，里面包含了一堆模块，模块与模块之间会互相去调用，1台机器部署。 现在如果你把他这个系统给拆开， ...
分类：
其他好文 时间：
2021-04-19 14:40:22
阅读次数：
0
Redis基础 NoSQL 学名（not only sql） 特点： 存储结构与MySQL这一种关系型数据库完全不同，NoSQL存储的是key-value形式的数据。 NoSQL有很多产品，都有自己的api和语法，以及业务场景。 产品种类： Mongodb Redis Hbase hadoop No ...
分类：
其他好文 时间：
2021-04-19 14:35:28
阅读次数：
0
计算机网络定义：由自主计算机互联起来的集合体 自主：每个个体完整地实现计算机的各种功能 互联 集合体 辨析： 主从式计算机系统：有个大哥管所有终端，终端不自主 分布式计算机系统：有个管理员管理资源，整个大网络像一个计算机系统 组成：硬件+软件+协议 硬件角度分析： 网络范围：LAN MAN WAN ...
分类：
其他好文 时间：
2021-04-16 12:12:44
阅读次数：
0
虚拟化--虚拟化是由虚拟机和多个节点分布式存储资源池相结合组成一个融合系统。 超融合--超融合是将分散的存储资源形成统一的存储池，而后再提供给Hypervisor用于创建应用虚拟机。 融合存储-利用服务器本身的存储 存储虚拟化-云存储 虚拟化-cpu 内存 用第三方存储 Kvm--硬件上，安装软件， ...
分类：
其他好文 时间：
2021-04-16 11:40:31
阅读次数：
0
比如说这个消息队列系统，我们来从以下几个角度来考虑一下 （1）首先这个mq得支持可伸缩性吧，就是需要的时候快速扩容，就可以增加吞吐量和容量，那怎么搞？设计个分布式的系统呗，参照一下kafka的设计理念，broker → topic → partition，每个partition放一个机器，就存一部分 ...
分类：
其他好文 时间：
2021-04-13 12:22:01
阅读次数：
0
