Zarr é um padrão aberto para dados em larga escala, especificamente voltado para dados do tipo "arranjos" multidimensionais. O pradrão é projetado para computação em nuvem, permitindo o acesso aleatório a partes do conjunto de dados, que são partidos em subconjuntos chamados de blocos.
É possível usar o padrão Zarr em muitas linguagens de programação, sendo implementado em linguagens como Python, Java, JavaScript, C++, Rust e Julia . Ele tem sido usado por organizações como Google e Microsoft para publicar grandes conjuntos de dados. As primeiras versões do Zarr foram lançadas pela primeira vez em 2015 por Alistair Miles.
O Zarr foi projetado para oferecer suporte a entradas e saídas (I/O) distribuídas de alto rendimento em diferentes sistemas de armazenamento, um requisito comum na computação em nuvem. Dados salvos em Zarr permitem múltiplas operações de escrita e leitura em paralelo.
Descrição do formato O principal formato de dados no padrão Zarr são arranjos (matrizes) multidimensionais. Para acesso paralelizável, essas matrizes são armazenadas e acessadas como uma grade dos chamados "blocos". O formato final dos dados no disco depende do compressor e dos plugins de armazenamento selecionados pelo usuário. miniaturadaimagem|Uma ilustração do formato de dados em blocos de Zarr. O projeto do padrão Zarr foi influenciado pelo HDF5 e, portanto, inclui recursos semelhantes para metadados e agrupamento: as matrizes podem ser agrupadas em hierarquias nomeadas e também podem ser anotadas com metadados de valor-chave armazenados junto com a matriz. </ref>
Aplicações Para análises de bioimagem, como em microscopia, um consórcio chamado Open Microscopy Environment (OME) criou um formato chamado "OME-Zarr", baseado no Zarr com algumas extensões específicas da disciplina. De forma semelhante, o padrão Zarr está sendo aplicado para publicar dados meteorológicos e de satélite e dados de energia, entre outros.
O Zarr também vem sendo estudado para análise em larga escala de variantes genéticas, oferecendo ganhos de eficiência computacional. O padrão também é aplicável para dados de transcriptômica espacial.
Ver também
NetCDF Dask
Categoria:Formatos de serialização de dados