Grupo de Trabajo "Coordinación del Servicio de Netnews"

Introducción

El grupo de trabajo de NetNews se dividió en dos partes: una exposición, en la que se recordaron los objetivos y situación actual del servicio de NetNews en RedIRIS; y una parte de discusión -que constituye precisamente la idea de Grupo de Trabajo-, en la que se debatieron temas de interés relativos a este servicio. Se aprovechó la ocasión para anunciar las especificaciones del inminente lanzamiento de un grupo de trabajo (ó Task Force) para la reestructuración de la jerarquía de NetNews nacional (grupos es.*).

PRIMERA PARTE: Exposición

Procurando no extenderme demasiado, pasaré a exponer la situación actual y evolución del servicio de News en RedIRIS. Terminaré comentando cuales son los planes de futuro.

Objetivos del servicio

Estas son los principales objetivos que RedIRIS pretende alcanzar -esperemos que con éxito- en el servicio de News.

  • Distribución de las Usenet News a los centros afiliados.

  • Coordinar su encaminamiento de una manera afín a la infraestructura de red disponible.

  • Coordinación de la jerarquía es.*

  • Prestación de soporte técnico a los centros adscritos.

Tareas desarrolladas por el equipo técnico

Mantenemos contacto con nuestros feeders internacionales, generalmente vía correo electrónico, para asegurar la estabilidad del servicio y estar al día de cualquier anomalía que se presente. Tratamos de coordinarnos con ellos para evitar trafico espurio sobre los enlaces troncales europeos, pero intentando mantener una vía de backup. En un principio RARE (ahora TERENA) se encargó de la coordinación europea del servicio de News. En este proyecto participó RedIRIS, formando parte del consorcio de News de RARE. Desde entonces no ha habido ninguna iniciativa europea al respecto, y todo han sido acuerdos entre los responsables de News de las redes académicas y/o proveedores comerciales, siguiendo las especificaciones del Memorandum of Understanding (MoU) de RARE. Con acuerdos de este tipo estamos intercambiando News con el campus Jussieu de París (que a su vez distribuye la jerarquía es.* a TRANSPAC), con BelNET, Universidad de Oregón y el MIT. Parece ser que DANTE tiene la intención de organizar la distribución a nivel europeo ya que a principios de año lanzó una petición de información sobre el flujo de News a las redes académicas europeas, aunque hasta el momento no ha notificado nada al respecto.

Los comienzos en Usenet suelen ser bastante duros. Uno se encuentra de golpe con tal cantidad de información que suele acabar abrumado. Intentando evitar que otros tropiecen en las mismas piedras que nosotros, hemos intentado recopilar la información más destacada para empezar en la Usenet, y también otros documentos de referencia interesantes y punteros a catálogos de recursos sobre el tema. Todo accesible a través del Web de RedIRIS. No hemos intentado reinventar la rueda, sino que hemos seleccionado los documentos que considerábamos más importantes y enfatizado los considerados fundamentales. Más que una catalogación exhaustiva pretende ser una visión genérica de lo más relevante. Queremos mostrar nuestro agradecimiento por la colaboración que hemos obtenido para la catalogación del software de News, tanto servidores como clientes.

Para la atención de administradores de News de cada centro afiliado existe el Help-Desk:dirección de correo newsmanager [at] rediris [dot] es. Tras esta dirección hay permanentemente dos personas a la escucha: Javier Puche y yo, encantados de poder ayudar, en la medida de nuestras posibilidades, a cualquier responsable de News de los centros afiliados. Podemos garantizar, o esperamos hacerlo, la atención permanente de los servicios de información en RedIRIS.

Situación actual y evolución

En la topología actual de NetNews en RedIRIS, nuestro feeder principal es SWITCH, la opción más razonable en su día por ser los más próximos en la antigua red EMPB pertenecientes al servicio de coordinación de News promovido por RARE (RARE News Consortium).

A comienzos de Julio pasamos a intercambiar la jerarquía es.* con TRANSPAC (proveedor comercial de la PTT francesa France Telecom). Esto permite su difusión a otros proveedores comerciales españoles que acceden a Internet a través de la PTT francesa, como ya se hacía con Goya Servicios Telemáticos, más tarde con Servicom y recientemente con IberNET (el proveedor de acceso a Internet de Telefónica). A mediados de Agosto dejamos la tarea de distribuir a TRANSPAC los grupos es:*, al campus JUSSIEU de París, que engloba a tres de las más importantes Universidades francesas y es un punto clave en la red Académica Francesa (RENATER). Con ellos intercambiamos también los grupos fr.*.

A mediados de octubre pasamos a distribuir la jerarquía es.* a BelNET (red académica Belga). También recibimos de ellos la jerarquía be.*. Desde mediados de Noviembre somos casi un full-feed de BelNET.

Con este tipo de intercambios conseguimos ampliar las vías de difusión de la jerarquía de News nacional, cada vez mas demandada internacionalmente.

Planes de futuro

En la nueva IBDNS gestionada por BT, nuestros nodos más próximos, a un salto de router son BelNET y SurfNET. Intentaremos, por lo tanto estudiar la posibilidad de recibir dos feeds de ambas redes. O lo que sería más ventajoso: tener como feeders a SWITCH y SurfNET. Hasta el momento no hemos entrado en contacto con SurfNET, pero sería muy interesante tener un feed completo de ellos, ya que además de estar dotados de grandes medios y experiencia en el tema, estaríamos a dos saltos de router de una de los enlaces internacionales.

Tenemos presupuestado para el año que viene la compra de un nuevo servidor primario dedicado en exclusiva al trafico de News con los nodos primarios nacionales. Esta máquina, en principio, sería un SPARCserver 20 con dos procesadores, 128 Mb de RAM, varias controladoras Fast-SCSI y un espacio de spool de 8 Gb. El actual servidor primario pasaría, con una ampliación de memoria, a ser el secundario operativo (no en pruebas como hasta ahora), para dar servicio a los nodos de Madrid y como nodo terminal de lectura/posting a aquellos centros que no dispongan de medios técnicos ni humanos para montar y mantener un servidor propio. Cada uno funcionaría como backup del otro, de tal forma que si uno de ellos queda inoperativo, el otro asuma sus funciones.

Estamos estudiando la posibilidad de utilizar otros métodos de transporte (streams, nntplink) con aquellos nodos que dispongan de la infraestructura necesaria para ello, y quizás a aquellos centros que a su vez reencaminen las News a otros servers, para intentar minimizar, en la medida de lo posible el tiempo de distribución a todos los nodos finales.

Por último resaltar que seguiremos manteniendo y ampliando, en la medida de lo posible, la información disponible sobre el servicio, potenciando la herramienta Web como método de exposición de información. Y esperamos tener vuestra colaboración para poder realizar FAQ's o guías especificas con vuestra ayuda. O bien que nos mantengáis informados de desarrollos en este sentido que se hagan en vuestros centros para poder poner los punteros en nuestro punto central de información.

Creo que es muy importante, tanto de cara al mercado nacional como internacional el disponer de un punto central de información sobre cada servicio. Y para ello, como no, el Web es la herramienta ideal.

Métodos de envío: compresión de News

En una breve exposición, Javier Achirica de la Universidad de Valladolid, pasó a comentar su desarrollo de unas extensiones al software INN, para contemplar mé todos de enví o sobre enlaces muy saturados. Estos mé todos de envío comprimido complementan el INN en un aspecto en el que su creador no contempló y que han demostrado ser fundamentales en la infraestructura de red nacional, en la que los enlaces son de baja velocidad respecto al resto de Europa (no digamos ya en USA) y algunos de ellos sufrían cargas muy importantes. Gracias a estos mé todos de envío, la Universidad de Valladolid y la Universidad Autónoma de Madrid han podido recibir una laimentación completa de Netnews sobre enlaces de 64 Kbs., donde teóricamente sería imposible el envío normal.

SEGUNDA PARTE: Discusión

Nueva topología de NetNews

Como ya sabréis,la nueva infraestructura de red, fruto del convenio CICYT-Telefónica, supone ya desde su primera fase una mejora sustancial. Y como también sabréis esta infraestructura sostenida por una topología de estrella. Dado que el mejor aprovechamiento del ancho de banda se consigue ajustando la topología de News a la de red, esto podría suponer algunos cambios en la primera. Seguirían sin cambios, los que dispondrán de líneas punto-a-punto a RedIRIS, esto es:

  • Galicia (CESGA)
  • Canarias (IAC)
  • Andalucía (CICA)
  • Valencia (Universidad de Valencia)
  • Cataluña (UPC)
  • País Vasco (SAID de Vizcaya)
  • Aragón (UNIZAR)

que se encargarían de distribuir las News en sus comunidades autónomas respectivas. Respecto al resto de nodos englobados en la nube Frame Relay, dependiendo de los recursos técnicos y humanos de cada centro podrían estudiarse varias posibilidades. Nuestra idea es que en una primera fase, que se desarrollaría durante el primer trimestre del 96, reciban directamente de RedIRIS:

  • Asturias (UNIOVI)
  • Navarra (UPNA ó UNAV)
  • Baleares (UIB)
  • Extremadura

UPNA alimentaría a UNAV o viceversa. La Rioja (si lo solicita) recibiría de Navarra. Murcia recibiría de Extremadura. Cantabria y Castilla-León recibirían de Asturias.

En una segunda fase, que está por determinar, dependiendo de que dispongamos de los medios adecuados, pasarían todos los nodos regionales a recibir directamente de RedIRIS. Esta segunda fase podría completarse durante el segundo trimestre del año que viene.

Necesidad de otros métodos de distribución (streams, nntplink)?

Con el ancho de banda que se disponía (la mayor parte de los enlaces de 64 Kbs) no se podían elegir otros métodos de envío que no fuesen el NNTP o el envío comprimido. Hay que tener en cuenta tamaño medio por artículo es de 5~6 Kb. Tomando 5.5 Kb, y una media de 80.000. Obtenemos 440.000 Kbyte/día. Suponiendo que el flujo de News es constante, lo que no es muy desacertado, tenemos 40,7 Kbits/s lo que representaría el 63,7% de la ocupación de un enlace de 64 Kbs sólo con tráfico de News. Cuando lo que debería ser el trafico de News es un ruido de fondo que no superase, en ningún caso, el 10% de la ocupación del enlace.

En el caso de enlaces de 64 Kbs. no se podrá enviar un full-feed de News, y los responsables de News de las organizaciones implicadas deberán solicitar un parcial-feed según sus recursos. Estos son los datos teóricos aproximados: 

		 #Art.  Kbs  %64 %128 %256 %512 %2048

		 30.000  15,3  23,9  11,9   6,0  3,0  0,7
		 60.000  30,6  47,7  23,9  11,9  6,0  1,5
		 80.000  40,7  63,7  31,8  15,9  8,0  2,0
		100.000  50,9  79,6  39,8  19,9  9,9  2,5
		120.000  61,1  95,5  47,7  23,9 11,9  3,0
		140.000  71,3  111,4 55,7  27,9 13,9  3,5
		160.000  81,5  127,3 63,7  31,8 15,9  4,0
		180.000  91,7  143,2 71,6  35,8 17,9  4,5
		200.000 101,9  159,1 79,6  39,8 19,9  5,0
La primera columna es el número de artículos. La segunda el ancho de banda aproximado que consume enviar esos artículos, tomando como media 5,5 Kb/articulo y suponiendo un flujo constante de News. El resto de las columnas indican el porcentaje que supondría este tráfico sobre una línea del ancho de banda dado.

Tomando como estimación para el año que viene 120.000 artículos/día para un nodo con un full-feed, esto representaría 660.000 Kbyte/día, o lo que es igual 61,1 Kbits/s. En una línea de 2 Mbs este trafico medio supone un 3% de la ocupación del enlace, lo que nos hace esperar una distribución desahogada, y podríamos centrarnos en la velocidad de transmisión. Para ello el software de transporte nntplink permite una propagación casi instantánea de los artículos.

Jerarquías de News distribuidas por RedIRIS y tiempos de expiración

Actualmente RedIRIS distribuye las siguientes jerarquías: 
#
# The Usenet Big8
#
comp	  	Computer hardware, software, systems, languages, and theories.
humanities 	Literature, fine arts, and other humanities.
misc      	Other topics, such as employment, children, and consumer issues.
News     	The Usenet News network and News software.
rec        	Recreational topics - sports, hobbies, music, games, etc.
sci         	Pure and applied sciences.
soc        	Social issues, socializing, and various cultures.
talk        	Discussion and debate of unresolved issues.
#
# Alternative newsgroups
#
alt         	An anarchic collection of serious and silly subjects.
#
# Regional newsgroups
#

be	    	Belgium regional newsgroups.
es 	    	Spanish regional newsgroups.
fr	    	French regional newsgroups.
#
# Other newsgroups
#
bionet      	Topics interesting to biologists.
bit            	Redistributions of popular BitNet LISTSERV mailing lists.
biz           	Business products and services.
cern         	CERN local interest groups.
eunet	   	Newsgroups from EUnet network.
fido
gnu          	The GNU project of the Free Software Foundation.
hepnet      	High-energy physics research.
ieee	    	Groups of the Institute of Electrical and Electronics Engineers. 
info          	A collection of serious gatewayed mailing lists.
k12          	K-12 (primary and secondary) education.
linux	    	About public domain UNIX/SV.
mail         	(obsolete).
psi
sco           	Issues about SCO (Santa Cruz Operation) Unix.
trial
u3b	     	Groups dealing with AT&T 3B{2,5,15,20,4000} computers.
unix-pc     	About Unix for personal computers (obsolete).
vmsnet      	Topics of interest to VAX/VMS users.
Podríamos recibir otras como, por ejemplo: 
clari         	Online daily newspaper, from wire services (available for a fee).
relcom	    	Russian languaje hierarchie.
ddn         	From the DDN (Data Defense Network).
eye          	EYE magazine. Free newspaper issued once a week.
rpi           	Rutgers.edu, spl1, and telly.on.ca among others.
chile        	Chile regional newsgroups
mx          	Mexico regional newsgroups
Sobre las políticas de expiración de los artículos, teníamos la intención de poder contar con los recursos suficientes para almacenar todas las jerarquías recibidas durante al menos una semana, pero por el momento esto no es posible. La siguiente es la política de expiración vigente por el momento:

  • Los Message-ID de cada artículo se guardan dos semanas.

  • Los grupos de la jerarquía alt. se mantienen cuatro días, excepto los alt.binaries, alt.sex y alt.pictures. que se almacenan dos días.

  • Los grupos nacionales (es.*) se mantienen por defecto dos semanas y como máximo cuatro.

  • Los grupos de iniciación a la Usenet se guardan por defecto dos semanas y como máximo un mes.

  • Todos los grupos de pruebas (*.test) se mantienen sólo un día.

Los participantes en el grupo de trabajo, manifestaron la necesidad por parte de RedIRIS de mantener los grupos el tiempo suficiente para asegurar su distribución a todos los nodos. En concreto se pedía que RedIRIS pudiese mantener al menos 4 días los grupos alt.* y 7 días el resto.

En los equipos presupuestados para el próximo año se contempla esta necesidad, y el disponer de dos servidores (uno de los cuales podría ir provisto de una interfaz ATM) nos permitirá balancear la carga. Sobre este tema estamos estudiando varias posibilidades y mantendremos informados al respecto a todos los responsables implicados.

Reestructuración y creación de nuevos grupos nacionales de News

Sobre estos dos temas el 29 de noviembre se anunció la convocatoria de un grupo de trabajo para resolver estos asuntos. Este mensaje fue enviado a todos los newsmanagers nacionales y posteado en los grupos de News: es.news, es.news.admin y es.news.groups. La información sobre este grupo de trabajo está disponible a través del siguiente URL:

http://www.rediris.es/rediris/gt/news-es/

La idea del grupo de trabajo es proporcionar un mecanismo de coordinación para el desarrollo de unos objetivos muy concretos en un tiempo limitado.

Formación a usuarios: normas de comportamiento, concienciación de la potencialidad de esta herramienta.

No me refiero de netiquette en RedIRIS (¿o si?), sino a decidir las vías de difusión adecuadas para que el usuario final sepa como usar y sacar el mayor rendimiento de esta herramienta. Es tarea de cada newsmanager el asegurarse de que el usuario conoce, no sólo que tiene que hacer para leer/postear News, sino cuál es la forma adecuada de hacerlo. Y si no lo hace así será porque lo desea no por desconocimiento de los procedimientos habituales. Si es necesario se podría traducir alguno de los documentos de introducción a Usenet a la lengua del usuario, o bien crear un extracto e indicarle las fuentes de los mismos. Pero repito que es tarea del newsmanager el asegurar que esta información llega al usuario. RedIRIS podría encargarse de postear periódicamente estos extractos o referencias en los grupos de administración de News de la jerarquía es.*. Pero eso no excluye que los newsmanagers de cada organización se preocupen de que sus usuarios reciban unas instrucciones básicas, quizás al ser dados de alta como lectores. Estoy seguro que esto nos ahorraría a todos muchas molestias, y probablemente trabajo. Me refiero a tener que cancelar el spamming de algún usuario mal informado y la mala imagen que puede dar de la organización a la que pertenece.

Algunos participantes mostraron su disposición a poner al alcance de todo el mundo sus guías especificas sobre la utilización del servicio de NetNews. Agradecemos la colaboración de todos para conseguir mantener actualizado un punto central de información sobre las Usenet News, con links a documentos introductorios al uso de la Usenet.

Durante el grupo de trabajo se manifestó reiteradamente la inconformidad con la situación actual de filtro en los routers del puerto NNTP (TCP#119). Este restringe el acceso dentro de cada organización afiliada, a servidores externos a la misma, ya sean nacionales o internacionales. Se argumentaba la necesidad de algunos investigadores de tener acceso a servidores de News remotos, de manera temporal, a grupos no recibidos en RedIRIS (grupos regionales generalmente).

Esta situación no es fruto de un interés absolutista por parte de RedIRIS, del control del flujo de NetNews. La razón fundamental de esta medida de filtro, es impedir situaciones, que ya se han dado, en las que un departamento de un determinado centro decide por cuenta propia, montar un servidor de News saturando el enlace de dicha organización, y repercutiendo en el enlace internacional. Este filtro del puerto TCP#119 seguirá existiendo por el momento, pero es importante subrayar que puede abrirse bajo demanda para algunos hosts en particular, siempre que así lo solicite el PER de la organización implicada.

Juan Antonio García
Coordinador del servicio de news
dirección de correo juan [dot] garcia [at] rediris.es