All posts by Diego Leal

Seminario Grid: Grid as a tool for eScience

Una más, esta vez a cargo de Dominique Boutigny, director de CC-IN2P3 (No entiendo cómo logran los franceses manejar tantas siglas... Estoy impresionado).

De nuevo, la idea de los grids es servir de intermediario para el procesamiento de cantidades masivas de datos que permiten realizar investigación fundamental. Es el cambio de la computación centralizada a la computación distribuida.

En los 80s CERN producía 2TB de datos. En los 90s subió a 15TB, procesados en CERN. En el 2000, estamos hablando de 1PB de datos, con procesamiento distribuido en cinco sitios, con un poder equivalente a 4000CPU actuales. Ahora estamos hablando de 10 billones de colisiones de partícuas por año, que generan 10-15PB de datos, con miles de personas involucradas en los experimentos.

Si se apilaran CD-ROMs, la cantidad de información generada en un año tendría alrededor de 20Km de altura… Es indispensable usar enfoques GRID.

La idea de la computación en malla empezó a tomar fuerza en el mundo HEP (High Energy Particles) en 1999/2000. En 2001 CERN lanzó el proyecto European DataGrid.

Enabling Grids for E-sciencE (EGEE) es el sucesor de los esfuerzos iniciales. Mayor alcance, más participantes. La idea de EGEE es proveer servicios, no infraestructura. De esto se encarga el proyecto W-LCG, a través del desarrollo de un modelo de conexión jerárquico: La capa central (T0) se conecta a la siguiente capa (T1) mediante enlaces de 10Gb/s. A su vez, las instituciones en esta capa se conectan entre si y con otras capas mediante los enlaces provistos por las redes de alta velocidad locales.

El crecimiento exponencial de la cantidad de información es un reto técnico en almacenamiento (discos, cintas) y en provisión de energía eléctrica.

Pero el grid no se dedica sólo a física de partículas. TEGEE tiene una organización biomédica muy activa.

SRB es un data grid desarrollado por el San Diego SuperComputing Center. Permite almacenar, distribuir y reproducir datos en un entorno distribuido, gestiona metadatos y es una solución elegante para datos distribuidos.


Seminario Grid: Renater, la red francesa.

Esta conferencia vino después del café. La realiza el director de RENATER, la red de alta velocidad de Francia, Danny Vandromme.

RENATER inició en 1993 para interconectar la infraestructura regional francesa. En 1996, se convirtió en una infraestructura ATM tipo estrella para ofrecer servicios sobre IP. Entre 1999 y 2001 se siguió fortaleciendo la infraestructura y se empezaron a ofrecer nuevos servicios.

En los últimos años se han establecido conexiones de alta velocidad con otros países de UE, a través de GEANT. En 1999 se empezaron a atender solicitudes de los territorios de ultramar franceses (increíble pensar que en pleno siglo XXI todavía tenemos colonias del siglo XIX), empezando con enlaces satelitales de 64k. En este momento, hay enlaces de 34M con Guadalupe, Martinica y Guyana, de 7M con Nueva Caledonia, 1M con Mayotte y 128k con Tahiti.

Hay más de 820 sitios conectados.

La red francesa está conformada por centros de investigación independientes (50%) y por el Ministerio de Educación local y Universidades en un 50%. Tiene un staff de 30 personas.

Servicios: IPv4 e IPv6 nativo, unicast y multicast. Videoconferencia H323 (vrvs.org), integración con EduROAM, variedad de servicios VPN, entre otros.

Renater está encargada de algunos servicios de apoyo al desarrollo de Internet en el país…

CERT-CSIRT: Computer Emergency Response Team, Computer Security Incident Response Team. Esto está articulado con Terena.

Son miembros de DANTE, NRENPC, TERENA y RIPE, y soportan todos los proyectos nacionales de grid (LCG, DEISA, GRID5000). Interesante saber cuáles son las diferencias entre cada proyecto, y cómo podríamos avanzar hacia algo consolidado en Colombia. Ahora, hasta qué punto es benéfica la diversidad en este campo? No lo se en realidad.

La red se usa para actividades profesionales solamente (educación, investigación, tecnología, cultura, salud,). Se acepta tráfico de internet no comercial. Cada red regional debe tener políticas de uso para ingresar a la red nacional.

Lecciones aprendidas

  • Aléjese de la competencia con los proveedores de telecomunicaciones ofreciendo servicios no disponibles comercialmente..
  • Esté cerca del ministerio de educación e investigación para explicar qué, por qué , cómo, cuánto cuesta, etc.
  • Cooperación a escala internacional
  • Sea firme en las políticas de uso establecidas.
  • Sea proactivo en el acompañamiento a iniciativas avanzadas de investigación.

Seminario Grid: Grid Projects in Europe – EELA

Primera conferencia de la mañana. A cargo de Roberto Barbera, coordinador de EELA, del INFN en Italia.

Hay una forma diferente de hacer investigación en el siglo XXI. Instrumentos científicos que generan mucha información. Investigadores distribuidos geográficamente. El grid se convierte en middleware de procesamiento entre estas dos cosas… Los grids ocultan la complejidad del procesamiento…

Se busca lograr un cubrimiento global de los grids… Hay proyectos alrededor del mundo, muchos en Europa, un par en Estados Unidos y Asia, y EELA en Latino América.

EGEE tiene 50000 trabajos concurrentes al día!!

BalticGRid: 10 instituciones, 3Millones de Euros… Parte de la infraestructura está compartida con EGEE.

SEE-GRID2 Project: Enfocado en la región sudeste de Europa (Balcanes). 11 paises, 31 sitios, 11.64TB de almacenamiento (!!)

Roberto indica que el gran reto no es lograr el grid tecnológico, sino el grid humano, la colaboración efectiva. Volvemos al problema de la colaboración.

EUMED-GRID (eumedgrid.org): Mediterráneo.

Hay proyectos de interconexión con China (euchinagrid.com) e India (euindiagrid.eu). Cada uno tiene algo más de 1M Euro de financiación por parte de la Unión Europea. El proyecto de India empezó hace 5 meses.

Ejemplos de aplicaciones

Arqueología, astrofísica, química computacional, ciencias de la tierra, eEducation (pero no hablan mucho de este punto), Simulación financiera, fusión, geofísica, física de altas energías, humanidades (interesante), ciencias de la vida, multimedia…

Uno de los grandes clientes de esta infraestructura son los proyectos de CERN. La información que se genera cada año es 150 veces el contenido total de la Web…

Mas ejemplos de radioterapia y visualización médica (3D y 4D*)… Proyecto ETOILE, de Francia (SPM).

Hay otro ejemplo de diagnostico temprano de Alzheimer, a partir de información estadística, para identificar situaciones de riesgo en el desarrollo de la enfermedad.

Simulaciones de Hadron-Therapy…

GEMS (Química computacional). Chimere provee información de concentraciones de ozono y polución sobre áreas de Europa. La información se recoge a través de sensores distribuidos y se procesa a través del grid.

Determinación de epicentros de terremotos y mapas de distribución de ozono.

Concentración de sal en el agua potable (modelos numéricos, conceptuales y simulaciones). Modelaje de agua subterránea. EUMEDGRID.

EUCHINA: Investigación de rayos cósmicos (Tibet). Investigación en proteínas que no existen (resulta que a partir de los aminoácidos existentes pueden existir muchas más proteínas de las que conocemos. Go figure). Se hace análisis estructural (mediante visualización) de estas proteínas.

"Sonified data": Sonogramas de volcanes, a partir de los registros de los sismógrafos, para identificar patrones que permitan predecir su comportamiento. El registro se puede mapear en una partitura musical. Roberto nos permite escuchar cómo suena un volcan "tocando" piano. (Es una de las cosas más simpáticas que he visto en algún tiempo!)

ArchaeoGrid: Origen de las ciudades en el Mediterráneo en los s X-VII A.C. Evaluación de paleoclima. La idea es usar herramientas de predicción del clima alimentadas con datos del pasado, para mostrar mapas de clima, agua, etc. de la época. Interesa ver el impacto de esos factores en el desarrollo de las agrupaciones urbanas humanas.

-----

La intención de la Unión Europea es empezar a involucrar a la industria en este proceso. La comisión europea está impulsando a las grupos de investigación a diseminar sus resultados a la industria. El uso de GRIDS puede significar ahorros importantes para las organizaciones.

El proyecto FP7 va hasta 2013.

La E-Ciencia representa uno de los factores claves de progreso y desarrollo sostenible de un país.

*4D corresponde a visualización en 3D, pero incluyendo la evolución en el tiempo.


Seminario Internacional Grid Computing: Apertura

Estoy en el Seminario Internacional de Grid COmputing, organizado por la Universidad de los Andes, y que incluye un taller de Grid ofrecido por expertos del proyecto EELA (E-Infrastructure shared between Europe and Latin America).

Esta es mi primera experiencia de reporte casi en vivo a través de mi blog, así que les solicito paciencia... :D:D

El Rector de Uniandes anuncia la firma de un memorando de entendimiento entre EELA y Uniandes. De hecho, este es el primer Seminario Taller que se realiza en un país que no hace parte de EELA. Bien por eso!

La Ministra de Comunicaciones habla del gran reto que tenemos para pasar de lo individual a lo colaborativo, para aprovechar la infraestructura organizacional de RENATA, para lograr sinergias. Menciona también que las instituciones tendrán que empezar a ofrecer productos y servicios que enriquezcan los modelos actuales, a partir de las posibilidades que ofrecen las TIC…

Luego viene una presentación de Martha Giraldo respecto a RENATA. Es muy parecida a la que ya hemos escuchado en diversos escenarios en el final del año anterior. Algunas cosas nuevas: Se habla ya de bibliotecas digitales multimediales y de e-Ciencia, algo que no aparecía el año anterior. En cuanto a e-Ciencia, esto incluye instrumentación compartida, distribución en el almacenamiento y el procesamiento de datos, todo como base para la colaboración entre grupos de investigación.

Algunos temas en ciencia a gran escala: Oceanografía, deforestación, física, astronomía, genómica, sismología…

Se menciona el proyecto RING (Remote Instrumentation on Next Generation Nerworks), al cual Colombia no alcanzó a entrar.

La academia colombiana debe empezar a avanzar hacia la conformación de centros de investigación virtuales, algo que está en la mira de la Unión Europea (yo diría que este es el estado ideal, en donde la tecnología es transparente y la gente puede trabajar a distancia, como si estuviera al lado del otro).

Se habla de los objetivos de RENATA, cómo está financiada

La convocatoria de CINTEL le apunta a crear una plataforma propia de servicios de multicasting. Me pregunto si el producto final será algo como Elluminate.

Dato interesante: Esta es una conferencia de mallas computacionales. Un tema absolutamente técnico. Sin embargo, además del mío, sólo puedo ver en el auditorio un computador portátil (Había muchos más en el seminario de Objetos del año pasado). De resto, quienes están tomando notas lo hacen con papel y lápiz... Quienes están blogueando aparte de mi? Estoy casi seguro de que nadie más lo está haciendo... Y me preocupa mucho esa realidad...