HDFS的IO操作 1.数据完整性 为了保证数据的完整性，一般采用数据校验技术： 1、奇偶校验技术 2、md5，sha1等校验技术 3、CRC-32循环冗余校验技术 4、ECC内存纠错校验技术HDFS数据完整性 1、HDFS以透明方式校验所有写入的数据，可以通过io.bytes.per.checks ...
分类：
其他好文 时间：
2017-07-21 10:25:31
阅读次数：
206
假设要发送的数据是：0b10110010，其对应的多项式称为g(x)；指定生成多项式为：CRC-4为h(x)=x4+x3+x2+x+1(即0b11111)，数据和生成多项式二进制相除g(x)/h(x)（异或）生成的校验字段为：0b0100，那么发送的码字为0b101100100100，将其发送出去。 ...
分类：
其他好文 时间：
2017-07-08 13:15:46
阅读次数：
168
intel SSD Toolbox SMART信息 解释：03 – Spin Up Time （磁头加载时间）The average time it takes the spindle to spin up. Since an SSD has no moveable parts, this attr ...
分类：
其他好文 时间：
2017-07-05 23:41:14
阅读次数：
542
1)chekc centos中是否安装了MySQL [root@localhost MySQL]# rpm -qa | grep mariadb mariadb-libs-5.5.52-1.el7.x86_64 2）卸载过程 [root@localhost MySQL]# rpm -e --node ...
分类：
数据库 时间：
2017-06-30 13:47:00
阅读次数：
199
错误分析: 今天在A程序中生成了数据,然后将A结果数据作为B的输入数据,在查看A结果数据时候,发现有一条数据不符合规则,遂将其删除,删除后执行B程序则报错.尝试打断点,发现程序连map过程都不执行,到了 job.waitForCompletion(true);这一步之后直接就报错了,错误信息为: o ...
分类：
其他好文 时间：
2017-06-21 22:03:32
阅读次数：
459
一、什么是CRC校验 CRC校验（即循环冗余校验）是数据通讯中最常采用检错纠错的一种校验方式，它广泛应用于数据链路层的数据传输中，以保证数据传输可靠性的一种差错检测措施。其特征是信息字段和校验字段的长度可以任意选定。循环冗余检查（CRC）是一种数据传输检错功能，对数据进行多项式计算，并将得到的结果附 ...
分类：
其他好文 时间：
2017-06-20 13:43:30
阅读次数：
230
一、问题定位 开发板重启后打印了2个提醒和一个错误，caches的提醒先不看，看看flash和nand下面的提醒，bad CRC，Using default enviroment，我们可以定位Using default enviroment定位到 代码位置，如下： Env_common.c (com ...
分类：
其他好文 时间：
2017-06-18 18:52:37
阅读次数：
309
数据链路层：将比特组装成帧并且点到点传输 帧 基本问题： 1.帧定界：帧的数据部分的上限 <= MTU（最大传输单元），SOH（0x01）和EOT(0x04)分别指示帧的开始和结束。 2..透明传输：字节插入，比特插入 3.差错检测：误码率：传输错误的比特与传输总比特数的比率 CRC(Cyclic ...
分类：
其他好文 时间：
2017-06-15 23:40:44
阅读次数：
200
