HDFS数据完整性

标签: hdfs 数据 完整性 | 发表时间:2015-06-07 01:36 | 作者:scgaliguodong123_
出处:http://blog.csdn.net

为了保证数据的完整性,一般采用数据校验技术:
1、奇偶校验技术
2、md5,sha1等校验技术
3、CRC-32循环冗余校验技术
4、ECC内存纠错校验技术

HDFS数据完整性
1、HDFS以透明方式校验所有写入的数据,可以通过io.bytes.per.checksum属性设置,字节数默认是512 字节,创建一个单独的校验和,如果节点检测数据错误,就会报 CheckSumException异常。
2、除了在读取数据时进行验证,数据节点也会在后台运行一个线程
DataBlockscanner(数据块检测程序)周期性的验证存储在数据节点上的所有块。
3、一旦检测到 corruptblock,在heartbeat阶段,DN会收到NN发来的Block Command,从其他数据块中拷贝一份新的 replica(备份块)。

本地文件系统
如果使用本地文件系统 file:///,在写一个文件file的时候, 会隐式创建一个file.crc文件,包含每个数据块的checksum。
使用FileSystem.setVerifyChecksum(false)来 禁用校验和验证,也可以 在shell命令中使用-ignoreCrc选项
禁用校验的方法还可以通过RawLocalFilesystem原生支持校验和,底层文件系统原生支持校验和,这里通过 RawLocalFileSystem来替代LocalFileSystem完成。
1、通过设置fs.file.impl的值为 org.apache.hadoop.fs,RawLocalFileSystem
2、建立它的实例

LocalFileSystem继承于 ChecksumFileSystem
ChecksumFileSystem提供了 文件校验的系统功能

  package org.apache.hadoop.fs;

/**********************************************************
Implement the FileSystem API for the raw local filesystem.
*************************************************************/
public class RawLocalFileSystem extends FileSystem {
}

public abstract class ChecksumFileSystem extends FilterFileSystem {
}

public class LocalFileSystem extends ChecksumFileSystem {
}

验证是否存在file.crc文件

  package Compress;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.ChecksumFileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;

public class CheckpointFileSystem {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "DeCodec");  
        //打包运行必须执行的方法
        job.setJarByClass(CheckpointFileSystem.class);
        LocalFileSystem localFileSystem = ChecksumFileSystem.getLocal(conf);
        System.out.println(
                localFileSystem.getChecksumFile(new Path("/liguodong/data")));      
    }
}
  [root@master liguodong]# yarn jar checksum.jar
/liguodong/.data.crc
作者:scgaliguodong123_ 发表于2015/6/6 17:36:50 原文链接
阅读:126 评论:0 查看评论

相关 [hdfs 数据 完整性] 推荐:

HDFS数据完整性

- - CSDN博客推荐文章
为了保证数据的完整性,一般采用数据校验技术:. 2、md5,sha1等校验技术. 3、CRC-32循环冗余校验技术. 1、HDFS以透明方式校验所有写入的数据,可以通过io.bytes.per.checksum属性设置,字节数默认是512 字节,创建一个单独的校验和,如果节点检测数据错误,就会报 CheckSumException异常.

用sqoop进行mysql和hdfs系统间的数据互导

- - CSDN博客云计算推荐文章
sqoop 是apache下用于RDBMS和HDFS互相导数据的工具. 本文档是sqoop的使用实例,实现从mysql到hdfs互导数据,以及从Mysql导数据到HBase. 一、从HBase库中直接导出到mysql中. 一开始我想从HBase库中直接导出到mysql中. 在mysql中创建一个库和表.

大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

- - 行业应用 - ITeye博客
大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目. 对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目. 可以带着下面问题来阅读本文章:. 1.一个好的项目架构应该具备什么特点.

HDFS-压缩

- - Java - 编程语言 - ITeye博客
文件压缩带来了两大益处1)减少存贮空间2)加速网络(磁盘)传输. 基于大数据的传输,都需要经过压缩处理. 压缩格式 工具 算法 文件扩展名 可分块. Java代码 复制代码 收藏代码. 24.        // io.compression.codecs 定义列表中的一个 . Native gzip 库减少解压缩时间在50%,压缩时间在10%(同java实现的压缩算法).

HDFS架构

- - 数据库 - ITeye博客
       在阅读了GFS的论文之后,对GFS的框架有了基本的了解,进一步学习自然是对HDFS的解析,不得不说,之前对GFS的一些了解,对理解HDFS还是很有帮助的,毕竟后者是建立在前者之上的分布式文件系统,二者在框架上可以找到很多的共同点,建议初次接触HFDS的技术人员可以先把GFS的那篇论文啃个两三遍,毕竟磨刀不砍柴工.

Hadoop剖析之HDFS

- - CSDN博客数据库推荐文章
Hadoop的分布式文件系统(HDFS)是Hadoop的很重要的一部分,本文先简单介绍HDFS的几个特点,然后再分析背后的原理,即怎样实现这种特点的. 这是HDFS最核心的特性了,把大量数据部署在便宜的硬件上,即使其中某些磁盘出现故障,HDFS也能很快恢复丢失的数据. 这个的意思是HDFS适合一次写入,多次读取的程序,文件写入后,就不需要修改了.

Hoop:Hadoop HDFS的RESTFul封装

- Vent - NoSQLFan
Hoop是对Hadoop HDFS Proxy 的改良重写,为Hadoop HDFS提供了HTTP(S)的访问接口. 通过标准的HTTP协议访问你的HDFS系统. 在运行不同版本的HDFS之间进行数据交换(这克服了一些RPC方式因版本不同而产生的兼容性问题). 将对HDFS的操作置于防火墙的保护下.

[转]HDFS用户指南

- - 小鸥的博客
本文档可以作为使用Hadoop分布式文件系统用户的起点,无论是将HDFS应用在一个Hadoop集群中还是作为一个单独的分布式文件系统使用. HDFS被设计成可以马上在许多环境中工作起来,那么一些HDFS的运行知识肯定能大大地帮助你对一个集群做配置改进和诊断. HDFS是Hadoop应用的主要分布式存储.

HDFS 读文件分析

- - 经验沉淀 知识结晶
UNIX Domain Socket是在socket架构上发展起来的用于同一台主机的进程间通讯(IPC),它不需要经过网络协议栈,不需要打包拆包、计算校验和、维护序号和 应答等,只是将应用层数据从一个进程拷贝到另一个进程. UNIX Domain Socket有SOCK_DGRAM或SOCK_STREAM两种工作模式,类似于UDP和TCP,但是面向消息的UNIX Domain Socket也是可靠的,消息既不会丢失也不会顺序错乱.

Hadoop之HDFS子框架

- - CSDN博客云计算推荐文章
由图片可以看到HDFS主要包含这样几个功能组件. Namenode:存储文档的元数据信息,还有整个文件系统的目录结构. DataNode:存储文档块信息,并且文档块之间是有冗余备份的. 这里面提到了文档块的概念,同本地文件系统一样,HDFS也是按块存储的,只不过块的大小设置的相对大一些,默认为64M.