2013-03-11 144 views
2

HDF5数据存储使用C约定,即如果我在二进制文件中存储矩阵A(N,M,K),则存储数据的最快变化维度将具有大小N.显然,当我使用HDF5的Fortran包装时,HDF5会自动转换矩阵,以便与C一致。我有一个存储在由fortran编写的未格式化二进制文件中的大小数据(256 x 128 x 256) 。我试图通过使用下面给出的程序将其转换成h5格式。但最终的输出结果是将存储矩阵的维数作为(128,256,256)。我不知道该怎么做才能确保最终的hd5文件可以在可视化软件(Paraview)中正确显示。HDF5用于用fortran编写的数据文件

PROGRAM H5_RDWT 

USE HDF5 ! This module contains all necessary modules 

IMPLICIT NONE 


CHARACTER(LEN=6), parameter :: out_file = "out.h5" ! File name 
CHARACTER(LEN=6), parameter :: in_file = "in.dat" ! File name 
CHARACTER(LEN=4), parameter :: dsetname = "vort"! Dataset name 
CHARACTER(LEN=50) :: len 

INTEGER(HID_T) :: in_file_id ! File identifier 
INTEGER(HID_T) :: out_file_id ! File identifier 
INTEGER(HID_T) :: dset_id  ! Dataset identifier 
INTEGER(HID_T) :: dspace_id ! Dataspace identifier 

INTEGER :: in_file_id = 23 

INTEGER  :: nx = 256, ny=128, nz=256 

INTEGER(HSIZE_T), DIMENSION(3) :: dims    ! Dataset dimensions 
INTEGER  :: rank = 3       ! Dataset rank 

INTEGER  :: error     ! Error flag 
INTEGER  :: i, j, k, ii, jj, kk ! Indices 

REAL, allocatable :: buff_r(:,:,:) ! buffer for reading from input file 

dims(1) = nx 
dims(2) = ny 
dims(3) = nz 
allocate(buff_r(nx,ny,nz)) 

! Read the input data. 
open (in_file_id,FILE=in_file,form='unformatted',access='direct',recl=4*nx*ny*nz) 
read (in_file_id,rec=1) buff_r 


! Initialize FORTRAN interface of HDF5. 
CALL h5open_f(error) 

! Create a new file. 
CALL h5fcreate_f (out_file, H5F_ACC_TRUNC_F, out_file_id, error) 

! Create the dataspace. 
CALL h5screate_simple_f(rank, dims, dspace_id, error) 


! Create the dataset with default properties. 
CALL h5dcreate_f(out_file_id, dsetname, H5T_NATIVE_REAL, dspace_id, & 
     dset_id, error) 

! Write the dataset. 
CALL h5dwrite_f(dset_id, H5T_NATIVE_REAL, buff_r, dims, error) 

! End access to the dataset and release resources used by it. 
CALL h5dclose_f(dset_id, error) 

! Terminate access to the data space. 
CALL h5sclose_f(dspace_id, error) 

! Close the file. 
CALL h5fclose_f(out_file_id, error) 

! Close FORTRAN interface. 
CALL h5close_f(error) 

deallocate(buff_r) 

END PROGRAM H5_RDWT 

为了说明发生了什么,我使用下面的脚本生成一个简单的数据文件:

program main 

    !-------- initialize variables ------------- 
    character(8) :: fname 
    integer, parameter:: n = 32 
    real*8, dimension(n,n,2*n) :: re 
    integer i,j,k, recl 
    Inquire(iolength = recl) re 

    !------ fill in the array with sample data ---- 

    do k = 1, 2*n 
    do j = 1, n 
     do i = 1, n 
      re(i,j,k) = 1.0 
     end do 
    end do 
    end do 

    !------ write in data in a file ----------- 
    write(fname, "(A)") "data.dat" 
    open (10, file=fname, form='unformatted', access='direct', recl=recl) 
    write(10,rec=1) re 
    close(10) 

    stop 
    end program main 

我复制伊恩·布什粘贴的程序,改变x的值, ny和nz分别为32,32和64。我希望生成的h5文件有尺寸(32,32,64)。但它是(64,32,32)。这里是正在发生的事情在我的机器:

[[email protected]]$gfortran generate_data.f90 
[[email protected]]$./a.out 
[[email protected]]$ls -l data.dat 
-rw-r--r-- 1 pradeep staff 524288 Mar 12 14:04 data.dat 
[[email protected]]$h5fc convert_to_h5.f90 
[[email protected]]$./a.out 
[[email protected]]$ls -l out.h5 
-rw-r--r-- 1 pradeep staff 526432 Mar 12 14:05 out.h5 
[[email protected]]$h5dump -H out.h5 
HDF5 "out.h5" { 
GROUP "/" { 
    DATASET "data" { 
     DATATYPE H5T_IEEE_F64LE 
     DATASPACE SIMPLE { (64, 32, 32)/(64, 32, 32) } 
    } 
} 
} 

请与我确认,如果你看到了同样的事情。

回答

0

长注释真的,而不是一个答案......

你能解释,为什么你不认为这是工作?有一次,我纠正了几个东西在你的代码

1)in_file_id与2种不同

2)RECL直接访问文件中声明两次不一定以字节为单位 - 通过输出列表查询得多便携式

我得到它,已经产生一个虚拟文件用随机数据下面,似乎工作:

[email protected]:~/test/stack$ cat hdf5.f90 
PROGRAM H5_RDWT 

USE HDF5 ! This module contains all necessary modules 

IMPLICIT NONE 


CHARACTER(LEN=6), parameter :: out_file = "out.h5" ! File name 
CHARACTER(LEN=6), parameter :: in_file = "in.dat" ! File name 
CHARACTER(LEN=4), parameter :: dsetname = "vort"! Dataset name 
CHARACTER(LEN=50) :: len 

!!$ INTEGER(HID_T) :: in_file_id ! File identifier 
INTEGER(HID_T) :: out_file_id ! File identifier 
INTEGER(HID_T) :: dset_id  ! Dataset identifier 
INTEGER(HID_T) :: dspace_id ! Dataspace identifier 

INTEGER(HID_T) :: in_file_id = 23 

INTEGER  :: nx = 256, ny=128, nz=256 

INTEGER(HSIZE_T), DIMENSION(3) :: dims    ! Dataset dimensions 
INTEGER  :: rank = 3       ! Dataset rank 

Integer :: recl 

INTEGER  :: error     ! Error flag 
INTEGER  :: i, j, k, ii, jj, kk ! Indices 

REAL, allocatable :: buff_r(:,:,:) ! buffer for reading from input file 

dims(1) = nx 
dims(2) = ny 
dims(3) = nz 
allocate(buff_r(nx,ny,nz)) 

Inquire(iolength = recl) buff_r 

! Read the input data. 
open (in_file_id,FILE=in_file,form='unformatted',access='direct',recl=recl) 
read (in_file_id,rec=1) buff_r 


! Initialize FORTRAN interface of HDF5. 
CALL h5open_f(error) 

! Create a new file. 
CALL h5fcreate_f (out_file, H5F_ACC_TRUNC_F, out_file_id, error) 

! Create the dataspace. 
CALL h5screate_simple_f(rank, dims, dspace_id, error) 


! Create the dataset with default properties. 
CALL h5dcreate_f(out_file_id, dsetname, H5T_NATIVE_REAL, dspace_id, & 
     dset_id, error) 

! Write the dataset. 
CALL h5dwrite_f(dset_id, H5T_NATIVE_REAL, buff_r, dims, error) 

! End access to the dataset and release resources used by it. 
CALL h5dclose_f(dset_id, error) 

! Terminate access to the data space. 
CALL h5sclose_f(dspace_id, error) 

! Close the file. 
CALL h5fclose_f(out_file_id, error) 

! Close FORTRAN interface. 
CALL h5close_f(error) 

deallocate(buff_r) 

END PROGRAM H5_RDWT 
[email protected]:~/test/stack$ h5fc hdf5.f90 
[email protected]:~/test/stack$ ./a.out 
[email protected]:~/test/stack$ ls -l out.h5 
-rw-rw-r-- 1 ian ian 33556576 Mar 11 10:29 out.h5 
[email protected]:~/test/stack$ ncdump out.h5 | head 
netcdf out { 
dimensions: 
    phony_dim_0 = 256 ; 
    phony_dim_1 = 128 ; 
variables: 
    float vort(phony_dim_0, phony_dim_1, phony_dim_0) ; 
data: 

vort = 
    0.9975595, 0.5668247, 0.9659153, 0.7479277, 0.3673909, 0.4806369, 
[email protected]:~/test/stack$ 

那么,为什么你觉得有什么问题吗?

+0

感谢您指出的错误。感谢recl评论。该程序正常工作。但它给了我一个转置矩阵。例如,如果使用fortran我写一个大小为(256,128,256)的3D数组,当我检查输出文件的数组维数时,它是(128,256,256)。要检查输出H5文件的尺寸,我用“h5dump -H out.h5” – jhaprade 2013-03-11 11:37:27

+0

这是从我一个人的HDF5支持组联系了回应:http://www.hdfgroup.org/HDF5/doc/ UG/UG_frame12Dataspaces.html,部分:7.3.2.5。 C与Fortran数据空间。但我不知道如何正确地实现它读取fortran二进制文件并重写它在h5格式 – jhaprade 2013-03-11 11:41:23

+0

好的,我完全困惑。我输出的h5dump -H out.h5给出了DATASPACE SIMPLE {(256,128,256)/(256,128,256)},类似于我的“答案”中的ncdump报告。我看不出你是怎么得到的(128,256,256)! – 2013-03-11 12:02:02

4

我也遇到了使用Fortran应用程序查看HDF5文件的麻烦。基本问题是Fortran和C以不同的方式存储多维数组(Fortran是列主要的,C是行主要的),并且由于Fortran HDF5库是C HDF5库的接口,因此Fortran封装器在传递数据之前转换维度到C代码中。同样,当Fortran应用程序读取HDF5文件时,Fortran包装器会再次转换尺寸。

因此,如果您使用Fortran应用程序进行所有写作和阅读,则不应该注意到任何差异。如果使用Fortran应用程序编写文件,然后使用C应用程序(例如h5dump)读取该文件,则尺寸将出现换位。这不是一个错误,它只是它的工作原理。

如果要正确显示数据,请使用Fortran应用程序读取数据或使用C应用程序并首先转置数据。 (或者你可以在写入数据之前转置数据。)

如前所述,在第7.3.2节中对此进行了相当好的解释。5文档:http://www.hdfgroup.org/HDF5/doc/UG/UG_frame12Dataspaces.html

0

为了安全原因,我建议你拆开矩阵转换成向量形式,并将它们存储在HDF5文件1D数据集。然后,在阅读时以相同的方式组装它们。使用H5SSELECT_HYPERSLAB_F写入/读取矩阵的切片。

+1

Fortran的HDF5库绑定完全能够处理多维数据集,您的建议部分删除了使用HDF5的兴趣。我建议不要关注它。 – 2017-10-24 08:46:07