1.概述 在大数据的浪潮下，时时刻刻都会产生大量的数据。比如社交媒体、博客、电子商务等等，这些数据会以不同的类型存储在不同的平台里面。为了执行ETL（提取、转换、加载）操作，需要一个消息中间件系统，该系统应该是异步和低耦合的，即来自各种存储系统（如HDFS、Cassandra、RDBMS等）的数据可 ...
分类：
其他好文 时间：
2021-03-01 13:50:00
阅读次数：
0
大数据分析——数据抓取 IOT数据抓取 1、系统架构 2、架构说明 系统架构分成三层和四个功能 ，三层分布式M2M层、M2C层、平台应用层，四个功能是 数据采集、连接、逻辑处理、存储 M2M层： 主要指的是硬件数据采集层，它包括但设备数据通过NB-IOT、WIFI、4G、5G、RJ45的方式直接上传 ...
分类：
其他好文 时间：
2021-03-01 13:48:41
阅读次数：
0
现在的mq产品主流有4中：rabbitmq，rocketmq，activemq，kafka；有时候很意外的是：学的其中一个，公司用的又是另外一个，导致学习成本提高。有或者是 业务服务使用rabbitmq，而数据库后台使用kafka，整个项目使用了2种mq，可能会导致切换困难，维护成本高等因素。 我们 ...
分类：
编程语言 时间：
2021-02-27 12:58:02
阅读次数：
0
1.windows下调试时需要将hadoop.dll文件放到C:\Windows\System32下，网上很多说改源码的，其实这样也是ok的，不然会报权限错误 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache. ...
1. 管道相关命令 1.1 cut cut：以某种方式按照文件的行进行分割 参数列表： 参数 英文 含义 -c characters 按字符选取 -b 按字节选取 忽略多字节字符边界，除非也指定了 -n 标志 -d '分隔符' delimiter 自定义分隔符，默认为制表符。 -f 'n1,n2' ...
分类：
系统相关 时间：
2021-02-26 13:01:54
阅读次数：
0
当在终端执行sudo命令时，系统提示“hadoop is not in the sudoers file”： 其实就是没有权限进行sudo，解决方法如下（这里假设用户名是cuser）： 1.切换到超级用户：$ su 2.打开/etc/sudoers文件：$vim /etc/sudoers 3.修改文 ...
分类：
其他好文 时间：
2021-02-25 11:47:06
阅读次数：
0
?曾经在你的应用程序中使用过异步处理吗?在处理不需要立即执行的任务时，异步代码似乎是不可避免的。Apache Kafka是最常用和最健壮的开源事件流平台之一。许多公司和开发者利用它的强大功能来创建高性能的异步操作，用于微服务的数据集成，以及用于应用程序健康指标的监控工具。这篇文章解释了在.NET应用 ...
分类：
Web程序 时间：
2021-02-23 14:04:35
阅读次数：
0
安装部署 先下载zookeeper、kafka zookeeper下载地址：Download kafka下载地址：Download 集群规划 hadoop001 hadoop002 zk zk kafka kafka 集群部署 1) 解压安装包 [root@hadoop001 software]# ...
分类：
其他好文 时间：
2021-02-22 12:46:23
阅读次数：
0
test.kafka.eagle.sasl.enable=true test.kafka.eagle.sasl.protocol=SASL_PLAINTEXT test.kafka.eagle.sasl.mechanism=PLAIN test.kafka.eagle.sasl.jaas.confi ...
分类：
其他好文 时间：
2021-02-22 12:41:44
阅读次数：
0
数据的基本类型及扩展 1. 数据类型： public class Demo01 { public static void main(String[] args) { //八大数据类型 int num1 = 10; byte num2 = 20; short num3 = 30; long num4 ...
分类：
其他好文 时间：
2021-02-22 11:54:36
阅读次数：
0
