Category Archives: Evaluación

El poder de la evaluación?

Hace un par de semanas hice pública una propuesta de rúbrica de evaluación para el curso ELRN09 la cual, felizmente, fue muy bien recibida. Muchos de los participantes coincidieron en que, aunque resultaba bastante exigente, tenía sentido y era retadora.

Curiosamente, la rúbrica apunta a establecer criterios de evaluación, no de calificación, pero nadie ha mencionado esta sutil diferencia. No puedo evitar preguntarme si esto se debe a que está muy claro que hay una diferencia entre las dos, o a que en nuestra cabeza están tan ligadas las dos cosas que ni siquiera nos preguntamos si existe una diferencia.

Pero ese no es el punto aquí, sino que decidí hacer "especulación pública".

Lo que he observado: Después de la cuarta semana (en la que coincidieron la publicación de la rúbrica y la escritura del comentario crítico), el nivel de publicación de los participantes se redujo notablemente.

La causa: Ni idea.

Y por eso esto es especulación. Me pregunto si la rúbrica, que establece unos claros criterios de "logro" frente a diversas áreas del ejercicio de publicación de blogs, tuvo alguna incidencia aquí. Será que en la medida en que ahora cada participante tiene un mapa de lo que es "deseable" en su publicación, ¿tales criterios se vuelven algo tan intimidante como para limitar la participación?

¿A qué me refiero? Supongamos que X llevaba un blog en el cual estaba publicando sus aportes desde sus posibilidades personales (que son obviamente diferentes para cada persona). Un buen día X recibe una rúbrica que delimita ciertos "niveles de calidad" en la publicación. De repente, X siente que lo que está haciendo no es tan bueno como "debería serlo", entra en conflicto y simplemente abandona la publicación (de manera deliberada o no) porque siente, en el fondo, que no va a poder estar "a la altura" del ejercicio. (Todas las expresiones en comillas, de hecho, están así porque encuentro importante evidenciar en dónde puede haber cosas que entendemos como "ciertas", así no lo sean).

X, entonces, siente que su esfuerzo inicial no era lo bastante bueno. El problema es que esta percepción sólo aparece cuando existe una rúbrica que definne tales parámetros de "calidad". Me pregunto si hay alguna persona en la situación de X en ELRN09, en este momento.

El asunto es que evidenciar esto puede ser difícil, pues siempre pueden haber otras excusas que oculten tal sensación (no tengo tiempo, he estado con mucho trabajo, cuántas lecturas, etc.), y además hay un problema de poder mediando aquí: La rúbrica es definida por el "profesor", así que como estudiante no es una opción mostrar la angustia que la evaluación produce, pues ello podría cuestionar al "profesor", quien finalmente es quien me "califica" (¿qué más poder que eso?). En otras palabras, hay un elefante en la sala, pero nadie se atreve a hablar de él.

Si todo esto fuese cierto, demuestra un problema más de fondo asociado a la evaluación (el cual, por supuesto, no puede ser generalizable). Hemos escuchado con alguna frecuencia la importancia de que los estudiantes conozcan las reglas de evaluación, para que sepan a qué se 'enfentan'. Pero, ¿será que tal cosa es contraproducente?

Hablando el viernes con Andrés, él se preguntaba si una rúbrica podría terminar siendo demasiado 'limitante' para un ejercicio de exploración como el que se propone en ELRN09. Mi impresión inicial es que no, pues la rúbrica no toca para nada el contenido. No obstante, lo que Andrés sugiere sí podría convertirse en un factor que limita la participación, pues ahora hay una serie de límites que definen qué es un aporte 'bueno' o 'malo'. La posibilidad del proceso individual desaparece, pues hay un punto común (y tal vez inalcanzable) que dice cómo "deberían ser" las cosas.

Para complicar más las cosas, Martha mencionaba en la sesión del viernes algo supremamente interesante: "En este curso, el poder lo da la palabra...". Su comentario reflejaba el fuerte componente de comunicación textual que tenemos (y la discusión acerca de por qué es así que da para otra ocasión), y cómo una "buena" capacidad de expresión puede no sólo atraer lectores, sino intimidar a quien está en otra etapa del proceso.

Desde mi perspectiva, habría dos cosas que un aprendiz podría hacer en esta situación: Primero, tener muy claro cuál es el sentido de lo que está haciendo. Al menos para el caso de ELRN09, seguiré insistiendo en que el blog no es un medio para hacer publicidad a las ideas personales, sino un mecanismo que sirve al proceso de aprendizaje de cada uno. En esa medida, no importa si "no me leen" o "no me comentan", pues el propósito del ejercicio no es coleccionar comentarios. Me temo que puede ser más fácil decir esto que integrarlo, y si además sumamos la presencia de una rúbrica específica, tenemos una receta para el desastre.

Segundo, reconocer que se está en un proceso, y que un curso apenas es una etapa de tal proceso. Lamentablemente, desde pequeños nos acostumbramos a todo lo contrario. El nivel "superior" (esto tampoco me deja cómodo, por cierto, y tendré que hablar más de ello luego) de una rúbrica puede ser entendido como 'aquello que nunca voy a lograr en cuatro semanas', no como 'un paso más en mi proceso de aprendizaje'. Cambiar esta percepción puede ser muy difícil, sobre todo cuando se piensa en que la estructura del sistema no contribuye a entender cada curso como etapas de un proceso, sino como obstáculos a superar.

El problema es que, en realidad, no sé si esto es lo que está ocurriendo. Lo que veo como positivo es que me lo esté preguntando, pues a menudo actuamos sobre estas cosas (tanto estudiantes como profesores) con una perspectiva un tanto 'trágica', de inevitabilidad absoluta. Esta reflexión, de algún modo, es un intento de demostrar (a mí mismo) que es posible y tiene sentido reflexionar sobre estas cosas en público. En lo personal, este también está siendo un proceso de descubrimiento, de asumir riesgos y de enfrentarme a supuestos que no suelo cuestionar.

Aforutnadamente, tengo claro que escribo solamente para poner en claro mis propias ideas. :D

Technorati:

Stephen Downes: El futuro del aprendizaje en línea: Diez años después

Hace ya varios meses tuve la oportunidad de leer este documento de Stephen, que en realidad es una revisión muy amplia, y a la vez comprensiva, de una serie de tendencias y posibilidades de evolución del aprendizaje en línea para los próximos 10 años.

Debo decir que es un documento muy interesante, lleno de previsiones que pueden resultar sin duda controversiales, y que resultan un excelente punto de partida para una discusión larga sobre el impacto social de la tecnología, el mundo en el que quisiéramos vivir, y el papel que tienen la educación y el aprendizaje en su materialización.

Mi decisión de traducirlo tiene que ver con un proyecto en progreso, que iniciará en Septiembre de este año. La Universidad de la Sabana me ha pedido que ofrezca un curso sobre e-Learning (sí, tan amplio como eso!), y mi intención es que sea un curso en línea abierto (no estoy seguro de que sea el primero en el país, aunque creo que es el caso) en el que un grupo amplio de participantes podamos experimentar con la construcción de un ambiente de aprendizaje que haga uso efectivo de las posibilidades de la tecnología disponible hoy, en la onda del tipo de cosas que hacemos en los EduCamp.

Como pienso que el artículo de Stephen es un excelente punto de partida para obtener una mirada global sobre esta área, me lancé a la aventura de traducirlo. Digo aventura porque es el documento más largo que he traducido hasta el momento (me tomó alrededor de 18 horas), y porque traducirlo de manera adecuada me obligó a explorar una gran cantidad de temas nuevos, lo cual probó ser un excelente ejercicio de aprendizaje.

Como de costumbre, espero que este "servicio público voluntario" :D sea de utilidad para otras personas. Ya he aceptado que es imposible imaginar las consecuencias de "liberar" este tipo de cosas, así que sólo puedo esperar que, eventualmente, podré enterarme de algún modo del efecto que este documento pueda tener en nuestra comunidad hispanohablante.

Un detalle: Dado que es una traducción taan larga, es muy probable que tenga todavía errores. Ingrid Lugo (quien merece un gran reconocimiento y agradecimiento por ello) está realizando una revisión completa del documento, pero decidí publicarlo para acelerar el proceso. Los errores que puedan existir son responsabilidad mía, y por supuesto quedo pendiente de cualquier sugerencia que pueda haber sobre cambios o mejoras.

Entonces, aquí está:

El futuro del aprendizaje en línea: Diez años después.

Stephen Downes, 2008
Traducción: Diego Leal, 2009

Original (Inglés) | Traducción HTML (Español)

Esta se suma a otras traducciones que he realizado, y que también contienen ideas fascinantes para alimentar la discusión sobre estos temas:

UPDATE: Me enteré a través de @lernys que ya existía una traducción el español disponible en El Camarote. Por si acaso, vale la pena decir que mi traducción NO está basada en la de El Camarote, sino que es completamente original.

La ventaja de contar con otra traducción es que los lectores podrán elegir aquella que más cerca esté de sus propios términos (sin duda, la mía será un tanto 'colombianizada'). Entre más opciones, mejor.

Creative Commons License: Attribution, Share-AlikeA excepción de que se indique lo contrario, este contenido está publicado bajo una licencia Creative Commons.
Technorati:

Virtual Educa Brasil 2007: Seminario de Calidad en la educación superior a distancia: Martha Ley Fuentes

2:40 PM

(Más portátiles que antes. Buena noticia)

Desarrollo de un modelo para la medición de factores intangibles asociados a proyectos educativos mediados por tecnología (Universidad de Guadalajara).

En México hay disminución de la participación del Estado y del gasto público. Se abordan conceptos como la productividad educativa y la rendición de cuentas.

La forma de usar los recursos económicos es efectiva? Hay que buscar estrategias útiles, idóneas y rentables que cuantifiquen la generación de conocimiento y desarrollo del capital humano (factores intangibles).

Modelos de evaluación provenientes de la industria (costo/beneficio). Efectos de la educación en el empleo y el crecimiento económico.

Los factores intangibles están ausentes al momento de determinar el impacto social y económico de un proyecto educativo apoyado con TIC.

La inversión económico puede resultar en varios tipos de beneficios (Cohen, 2002).

Los recursos intangibles no se deprecian… Pueden incrementar su valor mediante su uso, a la vez que se logra su dominio.

Los activos intangibles (Badaracco, 1992) están constituidos por el "conocimiento insertado", el cual está embebido en las relaciones entre individuos y grupos; en las actitudes, flujos de información, etc.

Medición de brecha digital y desigualdad social.

Indicadores: % de personas que son alfabetizadas digitalmente, nivel educativo de usuarios de internet, % de profesores en formación, % de usuarios de internet que carecen de estudios, % de personas con conocimientos informáticos básicos.

Indicadores de exclusión digital en relación con el empleo, la vivienda y la salud, educación y relaciones personales.

La idea es DETERMINAR/CUANTIFICAR los factores intangibles. Se les asignan valores ponderados de peso relativo.

Metodología: Hall, 1992.: Determinar el valor relativo de los factores intangibles: Considerar todos los factores, calcular el índice de importancia relativa, calcular el índice de orden jerárquico. Calcular la medida de preferencia de decisión social. Toma de decisiones.

Un tema muy interesante explicado de una forma no tan interesante. Definitivamente, es preferible hablar de productos tangibles...

"Valor actual neto social" (Supongo que querrá decir "Valor real neto social".

Pero, esto es una propuesta original, o simplemente una aplicación de lo que propone Hall? Parece lo último.

Preguntan respecto a la subjetividad en la valoración de los valores relativos. Lo que pasa es que los valores relativos se asignan a partir de la valoración consolidada (consignada en instrumentos de recolección de datos y entrevistas) de los destinatarios finales del proyecto frente a la utilidad del mismo.

Esto representa un tiempo adicional para la planeación de un proyecto de este tipo… Me queda una duda: la falta de visión estratégica de los destinatarios del proyecto puede afectar la forma en la cual valoran el impacto de un proyecto...



Seminario "Calidad en e-Learning": Preview

Al igual que el año anterior, este año tenemos como misión organizar un seminario relacionado con los temas más relevantes del Proyecto de Uso de Nuevas Tecnologías en Educación Superior. Para esta ocasión, el tema será la calidad en los procesos de e-Learning a nivel institucional, y el seminario lo realizaremos en Bogotá, los días 15 y 16 del año en curso...

Así las cosas, quise organizar un evento en el cual se pudiera mezclar el estado del arte a nivel mundial en el tema, y explorar algunas tendencias que pueden transformar en el mediano plazo aquello que entendemos como "calidad en el e-Learning" (y, quien sabe, incluso calidad a nivel de toda la educación superior).

Basta con decir por ahora que el primer día tendremos presentaciones relacionadas con el estado del arte del tema, y el segundo día hablaremos de tendencias. Por lo pronto, estoy muy contento de decir que ya logré confirmar a los conferencistas del primer día. Si todo sale bien, tendremos presentaciones de Christian Stracke, el líder del comité de trabajo de ISO/IEC para la elaboración de la norma 19796, referente al tema de la calidad de los procesos de e-Learning. También contaremos con la presencia de Tiina Kaipio, quien hace parte de la Fundación Europea de Calidad del e-Learning, y por último tendremos una presentación por parte de Tony Bates, una de las voces más reconocidas en el tema de la integración de TIC a los procesos institucionales en Educación Superior.

Aún estoy gratamente sorprendido por haber conseguido entrar en contacto y concretar la presencia de estas personas (en muy corto tiempo, además). Es simplemente fascinante ver cómo un corto trabajo de búsqueda en la red nos permite ponernos en contacto con personas de todos los lugares del planeta, y nos permite entablar conversaciones a una velocidad que hace tan solo 10 años era imposible prever. Definitivamente, sí estamos en un mundo más plano...

Seguiré reportando los avances sobre este tema en la medida en que ocurran. A diferencia del año anterior, esta vez sí tengo un espacio disponible para hacerlo... ;D