Servicio piloto para la mejora de la transferencia de grandes volúmenes de datos

Nuevo servicio de RedIRIS para la investigación


RedIRIS está trabajando en un nuevo servicio para usuarios científicos que les permita la transferencia de grandes volúmenes de datos de forma eficiente. Actualmente, el rendimiento y capacidad de las redes de comunicaciones, y en particular, de las redes académicas como RedIRIS o Geánt, ha aumento de forma exponencial. La capacidad de estas redes en ancho de banda, y su continua evolución hace que dispongamos de ancho de banda casi infinito. La disponibilidad de dicho ancho de banda es una condición necesaria pero no suficiente para transferir grandes volúmenes de datos de forma eficiente. Las herramientas y protocolos que se usan actualmente para estas transferencias de datos máximos se basan el protocolo TCP, que no está diseñado para este tipo de casos de uso y por ello, dichas transferencias son bastante ineficientes. Por tanto, el movimiento de datos se convierte en un problema para muchos de los científicos y centros de investigación que necesitan mover grandes volúmenes de datos.

Con objeto de mejorar la transferencia de datos científicos entre investigadores, RedIRIS está desarrollando un servicio que permite, de forma eficiente, mover grandes volúmenes de datos. El servicio se basa en un software llamado Aspera, cuyo protocolo base Fasp, basado en UDP, permite de forma eficiente la transferencias de grandes ficheros o volúmenes de datos.

Además de las ventajas del protocolo Fasp, el software dispone de varios interfaces de acceso que hacen sencillo el uso por parte de usuarios investigadores o científicos, o incluso, procesos automáticos y por tanto, también se eliminan las barreras de acceso de muchas de las plataformas o implementaciones existentes.

Los usuarios disponen, principalmente, de tres mecanismos de acceso a la plataforma para poder realizar el intercambio de datos. Por un lado, la plataforma dispone de un interfaz (faspex) que permite a los usuarios enviar ficheros a un destinatario, que recibe un correo con una url para su descarga. Los ficheros subidos tienen un tiempo de vida limitado, durante el cual, el usuario destinatario puede descargarlos, y a partir de ahí, esta información es eliminada. Este mecanismo de uso es parecido al actual servicio de RedRIS, FileSender (https://filesender.rediris.es). Por otro lado, existe otra interfaz de acceso (fileshare) que permite subir y descargar ficheros o volúmenes de datos, pero a un repositorio que es navegable y accesible por el usuario. El tiempo de vida de los ficheros en dicho repositorio ya no existe, aunque no es ilimitado, ya que el usuario deberá gestionar sus límites de almacenamiento asignados. Con objeto de facilitar el uso mediante procedimientos automáticos, tanto faspex como fileshare, está accesibles media APIs, que permiten automatizar las cargas y descargas de datos, y no solamente eso, sino que permiten gestionar otros parámetros avanzados del entorno asignado al usuario.

Actualmente, el servicio está en fase piloto, y en breve, formará parte del catálogo de servicios de RedIRIS.