Almacenamiento#
Salvo casos particulares, las cuentas tendrán asociadas el siguiente esquema de almacenamiento:
| Almacenamiento | Capacidad | Descripción |
|---|---|---|
| /home | 5 GB | Recomendable no almacenar datos o código en esta partición. Cuando se alcance su máxima capacidad, tendrá que mover los archivos a /data |
| /data | X TB | Partición con una "cuota soft" sobre el almacenamiento contratado. Para grandes volumenes será necesario solicitarlo mediante el email de soporte (support@hpc.iter.es). Es accesible en /home/<usuario>/data |
| /scratch | -- | Almacenamiento sólo disponible bajo solicitud expresa |
| /local/<jobid> | 300GB | En el HDD local del nodo que le asigne el planificador a la ejecución. El contenido de esta partición se elimina una vez finalizada la ejecución. Al lanzar una ejecución al gestor de colas se crea la carpeta en el path indicado. El jobid es acccesible a través de la variable de entorno $SLURM_JOBID |
| /lustre | X TB | Almacenamiento de alto rendimiento basado en LUSTRE con mayores prestaciones en cuanto a ancho de banda. Debe utilizarse como almacenamiento de datos en utilización por tareas de cómputo, una vez disponibles los resultados tienen que transferirse a home o data, ya que la permanencia de datos en esta partición no está asegurada y puede someterse a operaciones de limpieza periódicamente. Es accesible /home/<usuario>/lustre |
Cualquier cambio en este esquema de almacenamiento será notificado.
Tu directorio home tiene un límite soft de 5GB.
¡¡¡Recomendamos guardar tus entornos virtuales, datos de aplicación y resultados en el directorio data or lustre (si necesitas almacenamiento de alto rendimiento!!!
Copias de seguridad#
Los datos de los usuarios están respaldados por el sistema de copias de seguridad del sistema de almacenamiento. El esquema de las copias de seguridad es el siguiente:
- Para /home, 6 copias horarias, 2 copias diarias y 2 semanales.
- Para /data, 6 copias horarias, 2 copias diarias y 2 semanales.
Para /local no hay copias de seguridad, porque es un almacenamiento situado en los discos duros de los nodos de cómputo, enfocado a mejorar el rendimiento de los trabajos. Una vez éstos terminen, el contenido de esta partición se borra por completo. La idea es que, una vez se inicie la ejecución del trabajo, el usuario copiar los datos con los que va a trabajar a esta partición del nodo y, antes de que finalize por completo el trabajo, es decir, en el mismo script de ejecución, mueva los resultados obtenidos a su espacio en data.
Para /lustre tampoco hay ningún sistema de copias de seguridad por la misma razón. Es un almacenamiento dedicado a optimizar las ejecuciones de los usuarios, pero esta vez, utilizando la red infiniband que interconecta todos los nodos y que cuenta con velocidades muy superiores al resto de redes. La idea es que el usuario copie los datos de las ejecucuciones aquí, y cuando estas terminen, mueva los resultados de vuelta a su espacio en data. En este caso, nosotros no borramos nada, pero si por algún motivo ocurre algún problema y los datos se ven afectados o el usuario borra datos por equivocación, no hay copias de seguridad para recuperar dichos datos.