TernFS es un software libre y sistema de archivos distribuido desarrollado por la empresa de trading cuantitativo XTX Markets. Está diseñado para cargas de trabajo de aprendizaje automático a gran escala que requieren una gestión eficiente de archivos inmutables sobre almacenamiento a escala de exabytes. TernFS tiene como objetivo ofrecer alto rendimiento, robustez e integridad de datos en múltiples centros de datos y regiones. El sistema fue liberado como software libre por XTX Markets en 2025 bajo una combinación de licencias GPL-2.0-o-posterior y Licencia Apache 2.0 (con excepciones LLVM).
Descripción general TernFS fue diseñado para satisfacer las necesidades de datos de las canalizaciones de aprendizaje automático de XTX Markets, que implican leer y escribir archivos muy grandes e inmutables. En este contexto, «inmutable» se refiere a archivos que no se modifican nunca después de su creación, y «grandes» a archivos que suelen tener varios megabytes o más.
El sistema está pensado para implementaciones de hasta: 10 exabytes (EB) de almacenamiento lógico de archivos, 1 billón de archivos (tamaño medio de 10 MB), 100 mil millones de directorios (media de 10 archivos por directorio), y 1 millón de clientes conectados simultáneamente.
TernFS está diseñado para ejecutarse en hardware de tipo commodity conectado mediante redes Ethernet.
Diseño TernFS pone énfasis en la durabilidad, la consistencia y la recuperabilidad:
Los archivos se escriben por completo o no son visibles para otros clientes, evitando estados de escritura parcial. Las pérdidas de energía o fallos de nodo no pueden corromper los metadatos ni los datos de los archivos. El bit rot y la corrupción silenciosa de datos se mitigan mediante redundancia y procesos de verificación («scrubbing»). La pérdida de datos se considera muy poco probable salvo en eventos catastróficos (por ejemplo, incendio o inundación). El sistema puede seguir funcionando durante tareas de mantenimiento o fallos parciales de nodos. Los archivos eliminados pueden restaurarse según la política de retención configurada. Soporta replicación multirregional para redundancia geográfica y escalabilidad entre centros de datos.
Historia TernFS se desarrolló inicialmente internamente en XTX Markets en 2022 para gestionar el rápido crecimiento de las cargas de trabajo de aprendizaje automático de la empresa. Entró en producción en 2023 y fue publicado como software libre en octubre de 2025.
Referencias
Enlaces externos
Categoría:Sistemas de archivos Categoría:Almacenamiento distribuido de datos Categoría:Sistemas de archivos distribuidos Categoría:Sistemas de archivos de red Categoría:Software libre Categoría:Linux Categoría:Aprendizaje automático Categoría:Sistemas de archivos de Linux