El poder de la evaluación?

Hace un par de semanas hice pública una propuesta de rúbrica de evaluación para el curso ELRN09 la cual, felizmente, fue muy bien recibida. Muchos de los participantes coincidieron en que, aunque resultaba bastante exigente, tenía sentido y era retadora.

Curiosamente, la rúbrica apunta a establecer criterios de evaluación, no de calificación, pero nadie ha mencionado esta sutil diferencia. No puedo evitar preguntarme si esto se debe a que está muy claro que hay una diferencia entre las dos, o a que en nuestra cabeza están tan ligadas las dos cosas que ni siquiera nos preguntamos si existe una diferencia.

Pero ese no es el punto aquí, sino que decidí hacer "especulación pública".

Lo que he observado: Después de la cuarta semana (en la que coincidieron la publicación de la rúbrica y la escritura del comentario crítico), el nivel de publicación de los participantes se redujo notablemente.

La causa: Ni idea.

Y por eso esto es especulación. Me pregunto si la rúbrica, que establece unos claros criterios de "logro" frente a diversas áreas del ejercicio de publicación de blogs, tuvo alguna incidencia aquí. Será que en la medida en que ahora cada participante tiene un mapa de lo que es "deseable" en su publicación, ¿tales criterios se vuelven algo tan intimidante como para limitar la participación?

¿A qué me refiero? Supongamos que X llevaba un blog en el cual estaba publicando sus aportes desde sus posibilidades personales (que son obviamente diferentes para cada persona). Un buen día X recibe una rúbrica que delimita ciertos "niveles de calidad" en la publicación. De repente, X siente que lo que está haciendo no es tan bueno como "debería serlo", entra en conflicto y simplemente abandona la publicación (de manera deliberada o no) porque siente, en el fondo, que no va a poder estar "a la altura" del ejercicio. (Todas las expresiones en comillas, de hecho, están así porque encuentro importante evidenciar en dónde puede haber cosas que entendemos como "ciertas", así no lo sean).

X, entonces, siente que su esfuerzo inicial no era lo bastante bueno. El problema es que esta percepción sólo aparece cuando existe una rúbrica que definne tales parámetros de "calidad". Me pregunto si hay alguna persona en la situación de X en ELRN09, en este momento.

El asunto es que evidenciar esto puede ser difícil, pues siempre pueden haber otras excusas que oculten tal sensación (no tengo tiempo, he estado con mucho trabajo, cuántas lecturas, etc.), y además hay un problema de poder mediando aquí: La rúbrica es definida por el "profesor", así que como estudiante no es una opción mostrar la angustia que la evaluación produce, pues ello podría cuestionar al "profesor", quien finalmente es quien me "califica" (¿qué más poder que eso?). En otras palabras, hay un elefante en la sala, pero nadie se atreve a hablar de él.

Si todo esto fuese cierto, demuestra un problema más de fondo asociado a la evaluación (el cual, por supuesto, no puede ser generalizable). Hemos escuchado con alguna frecuencia la importancia de que los estudiantes conozcan las reglas de evaluación, para que sepan a qué se 'enfentan'. Pero, ¿será que tal cosa es contraproducente?

Hablando el viernes con Andrés, él se preguntaba si una rúbrica podría terminar siendo demasiado 'limitante' para un ejercicio de exploración como el que se propone en ELRN09. Mi impresión inicial es que no, pues la rúbrica no toca para nada el contenido. No obstante, lo que Andrés sugiere sí podría convertirse en un factor que limita la participación, pues ahora hay una serie de límites que definen qué es un aporte 'bueno' o 'malo'. La posibilidad del proceso individual desaparece, pues hay un punto común (y tal vez inalcanzable) que dice cómo "deberían ser" las cosas.

Para complicar más las cosas, Martha mencionaba en la sesión del viernes algo supremamente interesante: "En este curso, el poder lo da la palabra...". Su comentario reflejaba el fuerte componente de comunicación textual que tenemos (y la discusión acerca de por qué es así que da para otra ocasión), y cómo una "buena" capacidad de expresión puede no sólo atraer lectores, sino intimidar a quien está en otra etapa del proceso.

Desde mi perspectiva, habría dos cosas que un aprendiz podría hacer en esta situación: Primero, tener muy claro cuál es el sentido de lo que está haciendo. Al menos para el caso de ELRN09, seguiré insistiendo en que el blog no es un medio para hacer publicidad a las ideas personales, sino un mecanismo que sirve al proceso de aprendizaje de cada uno. En esa medida, no importa si "no me leen" o "no me comentan", pues el propósito del ejercicio no es coleccionar comentarios. Me temo que puede ser más fácil decir esto que integrarlo, y si además sumamos la presencia de una rúbrica específica, tenemos una receta para el desastre.

Segundo, reconocer que se está en un proceso, y que un curso apenas es una etapa de tal proceso. Lamentablemente, desde pequeños nos acostumbramos a todo lo contrario. El nivel "superior" (esto tampoco me deja cómodo, por cierto, y tendré que hablar más de ello luego) de una rúbrica puede ser entendido como 'aquello que nunca voy a lograr en cuatro semanas', no como 'un paso más en mi proceso de aprendizaje'. Cambiar esta percepción puede ser muy difícil, sobre todo cuando se piensa en que la estructura del sistema no contribuye a entender cada curso como etapas de un proceso, sino como obstáculos a superar.

El problema es que, en realidad, no sé si esto es lo que está ocurriendo. Lo que veo como positivo es que me lo esté preguntando, pues a menudo actuamos sobre estas cosas (tanto estudiantes como profesores) con una perspectiva un tanto 'trágica', de inevitabilidad absoluta. Esta reflexión, de algún modo, es un intento de demostrar (a mí mismo) que es posible y tiene sentido reflexionar sobre estas cosas en público. En lo personal, este también está siendo un proceso de descubrimiento, de asumir riesgos y de enfrentarme a supuestos que no suelo cuestionar.

Aforutnadamente, tengo claro que escribo solamente para poner en claro mis propias ideas. :D

Technorati:

Mi segundo curso abierto: GRYC09

Como anuncié hace algunas semanas, fui invitado para ofrecer un curso dentro del programa de maestría en ingeniería de la Universidad EAFIT (Colombia). El curso, que tiene como nombre Grupos, redes y comunidades (GRYC09), tardó en iniciar más tiempo de lo que yo me imaginaba (se suponía que arrancaba en paralelo con ELRN09), lo cual al final fue una afortunada situación, pues su arranque se beneficia de muchas lecciones aprendidas en estas semanas.

Como decía hace algunos días. este curso apareció de manera un poco súbita pero muy oportuna, y explora algunos conceptos básicos sobre grupos, redes y comunidades y las formas en las cuales la tecnología incide en estas organizaciones, así como ideas sobre su diseño y gestión. Lo interesante es que, a pesar de ser también un curso abierto, la tecnología no es en sí misma objeto de estudio (al menos no al nivel de ELRN09), lo cual me llevó a preguntarme acerca de la relevancia de un esquema como el que ya estoy implementando.

Hay dos elementos aquí: Empieza a hacerse claro para mi (si no lo tenía claro antes), que la infraestructura tecnológica que estoy usando no tiene que ver con el tema de un curso, sino con una forma diferente de hacer las cosas, que de hecho puede ser difícil para muchos de nosotros (no deja de sorprenderme la necesidad que tenemos de contar con un "profesor" que nos diga qué hacer y si estamos en lo 'cierto' o no), y que en realidad tiene unas fuertes implicaciones en lo que se entiende como responsabilidad de las instituciones de educación superior (y de los docentes) frente a la difusión del conocimiento (algo de esto ya apareció en la conversación con Miguel Angel).

Segundo, hay una diferencia sustancial cuando hay un "temario" que debe ser cubierto, como en el caso de GRYC09. En ELRN09 podemos darnos "el lujo" de mantener cierta incertidumbre sobre las actividades, pues finalmente vivir el proceso constituye una parte importante de entender de qué se trata el e-Learning. En GRYC09 es distinto, pues terminé enfrentándome con la necesidad de tener un "mínimo" de temas que debían ser abordados. En esa medida, el asunto se volvió un reto. ¿Cómo mantener la apertura en la exploración y la reflexión, y 'cubrir' el tema?

No estoy seguro de que la solución que estoy proponiendo sea la más adecuada. Sin embargo, sí me gusta sentir que estoy conservando hasta cierto punto la intención de permitir a cada aprendiz explorar lo que resulte más relevante para su situación personal. De cualquier manera, es un experimento más, sobre el cual sin duda aprenderé mucho más.

Hay un detalle que viene a mi mente (ya no sé si lo he mencionado antes o no), y es esta noción de 'experimento'. Una reacción completamente válida al respecto, desde el punto de vista del estudiante, sería cuestionar por qué tiene él que hacer parte de un experimento (después de todo, ¿quién pagaría por ser parte de un experimento?). El asunto es que tal reacción supondría que 'hacer lo mismo de siempre' tiene sentido, en la medida en que ya se ha probado y es a lo que estamos acostumbrados. En otras palabras, tal reacción supone que el 'status quo' funciona.

Y, aunque puedo estar equivocado, me temo que no funciona tanto como debería. O mejor, funciona sobre la base de ciertos propósitos implícitos (ocultos en las relaciones de poder y en las estructuras organizacionales), que a mi juicio se quedan cortos frente a lo que debería estar haciendo la educación. Por otro lado, no está de más recordar que buena parte de la historia de la humanidad ha consistido en una serie de retos al status quo, de experimentos que lo transforman y, en algunos casos, terminan por volverse un nuevo status quo.

De aquí la importancia de los experimentos. Aunque no soy un observador objetivo, me pregunto si no será preferible un experimento que genere nuevas posibilidades (incertidumbre) a un entorno 'seguro' en donde hacemos menos de lo que podríamos, sólo porque estamos familiarizados con él (certidumbre). Si me preguntan, me quedo con el primero, y por eso prefiero recordar que estos cursos son simples experimentos.

Pero en fin, terminé hablando de otras cosas. Si usted está interesado en hacer parte de GRYC09, puede encontrar más información en http://gryc09.pbworks.com/. Allí está publicada la información detallada del curso, y las actividades para estos primeros días. Como en el caso de ELRN09, la diversidad resulta MUY bienvenida!

No está de más agradecer desde aquí a la Universidad EAFIT, y a personas como Claudia Zea y Patricia Toro, que han sido lo bastante arriesgadas como para permitir la realización de este experimento. Gracias a ellas y a quienes ya se han animado a hacer parte de esta aventura!


EduCafé ’09

(Disclaimer: Please be patient with my English. I'm open to suggestions for improvement ;))

Last week, the Ministry of Education of Colombia held the National Forum on the Pertinence of Education. This is an annual event focused on a different area each year. Given that 2009 was declared the "Year of education for innovation and competitiveness", there was a discussion around things that make education pertinent, and an interest in presenting innovative experiences.

As part of this event, I wanted to organize a TEDx session, but as it turned out, TED requires TEDx events to be independent from any other event. This is unfortunate (and I really think it must be reconsidered), because in many places (at least, in our case) the purpose is not to use TED's brand to get people to come to some event (on its own, our Forum congregates over 1500 teachers from all over the country), but to spread ideas included in TEDTalks. So, bottom line, I can't use the TEDx name, even if I'm using TEDTalks and I want to recognize that.

This situation (and a look to the Forum agenda) made me think about the need to give participants a place to talk about what was being discussed at the Forum. There were a lot of presentations, expert panels, and not enough time to bring those discussions to the context of every person. So I decided to change my approach.

My initial idea around the TEDx session was to have 2-3 sessions, 1.5 hours each. I wanted to have local presenters and several TEDTalks per session, related to global issues. However, most TEDx events are based on an auditorium format, which is not very useful for discussion. Happily, I could take advantage of a large space we would be using during the Forum to do an EduCamp workshop, so I decided to put more focus on conversation and less on presentation.

Enter the World Café, which ideas I had use in the past. Our new design included two sessions: The first one called Reboot and the second, Engage (which, by the way, were the names of the first and last sessions of TED2009).

The first session was devoted to think about the way global issues reflect on our context, and to try and find the critical issues at hand. As a conversation starter, we used talks by Al Gore, Charles Moore and Arthur Benjamin. Because of the setting, we decided to limit the time of talks, because it would be quite difficult to capture people's attention for too long. So all the talks would not last more than 20 minutes. After this, we had a one-hour Café session, with 3 rounds.

The second session was devoted to explore concrete ideas/actions that each participant could develop in her own environment, in order to address local effects of global issues. Once again, a TEDTalk (this time by Seth Godin) was used as a conversation starter. Once again, we had a 3-round session.

 

During each conversation, we had music from different sources playing in the background: TEDTalks, Playing for change (I still have doubts about if it's even legal to play from YouTube) and Kutiman. I mentioned the last two were an example of new and creative ways to create collaboration between people who never met before.

Each participant received a "program" including the different talks and music we would be using, which she could use also to write down the contact info of other participants.

At the end of the session, we reminded everyone that the talks available online and the World Café ideas could be used by them to do these kind of sessions in their own institutions.

Some bad things:

 
  • The time: The session was scheduled on day 2 of the Forum, at 4:00p.m. I think it would had been better on the last day (which was not possible for reasons beyond my control), and earlier in the afternoon. 4:00 was too late for a lot of people and, even worse, there was a delay in the whole event, which meant we started around 4:45. In the end, there were not as many people as we expected (we were expecting 200, 97 arrived). Because of this, some part of the space felt empty.
  • The weather: There has been a lot of rain in Bogotá in these days. Last Wednesday was no exception. Around 5:30, it started to rain and the temperature went down. The spacious setting is way too open, so it was really (really) cold for a lot of us. Even with coffee, the rain (and the huge traffic jams that it creates in the city) helped to reduce the amount of people at the end, which at the same time made very difficult to get a good closure.
  • Because we had to change the name of the session (we moved to the name EduCafé at last minute), there was a "communication failure", I'd say. It was not that easy to communicate the purpose of the session to some people...

Some interesting things:

 
  • In my experience, I've found that many teachers, when given paper and markers, decide that they are supposed to use the paper to write. Not to draw or doodle, but to write in a clean and organized way. This happens even when they're told about the purpose of the paper on the tables. I wonder if this reflects the way they use those tools in their environments; if so, it's a reason of concern that we have such a strong beliefs about what it means to put thoughts on paper. I had to remind some of them, every now and then, that they were not meant to create organized lists, but to draw and connect ideas. I wonder if we just have a hard time trying to register our ideas visually (and we had no graphic recorder).
  • There were some groups (especially one from the Atlantic shore) which had a hard time splitting up. They arrived together (later, also), and it was very difficult to get them to join other tables. I wonder if the group turns into some kind of "safety net", in this case.
  • Because of the selected talks, some people concluded that the session had to do with environmental education, even though they were supposed to know in advance about what we would be doing. This was not a problem, though, because this served as a starting point for other kind of discussions.

Some good things:

 
  • The environment was fantastic. I just loved what our support staff did with it, because the first time I saw it, it felt quite gray, quite cold. We even had flowers on each table!
  • The conversations were very interesting. I was really happy to see how excited people was about having the chance to finally speak to each other (like I said, this year the event was way too formal), and it was great to see some of the things that came up in the tables.
  • TEDTalks are a great discussion starter. Obviously, it depends on the talks you select, but in this case, even some of the staff guys were asking about the talks, which was unexpected. Even though they didn't participate in the discussions, they were engaged enough as to take with them several programs, after we finished.
  • At the end of the session, a lot of people expressed their satisfaction with it. For some of them, it was something that helped "to break the mold" of the Forum. We are convinced that, if we had started at, let's say, 2:00p.m, we would have had more people and a richer conversation.

More pictures of this EduCafé:


Created with Admarket's flickrSLiDR.

And the slides I used during the session:

I guess we'll have to wait a little bit to see what happens after this, but I'd say it was a very good beginning. I felt sort of like when we did our first EduCamp. A lot of things to improve, a lot of lessons learned and, hopefully, an excuse for people to bring new conversations to their environments. I have to say I just loved the experience! :D

Technorati:

Diigo en 10 minutos…

Como parte del arranque de GRYC09 , me puse en la tarea de elaborar un tutorial que no alcancé a tener a tiempo para ELRN09 : Una pequeña guía de uso de Diigo, pues no he logrado encontrar ninguna en español...

Intenté cubrir las cosas más importantes como para empezar, y sin duda muchas otras se quedaron por fuera, pues el límite que me impuse fue de 10 minutos (para publicar en YouTube).

Ojalá sea de utilidad no sólo para los participantes en estos cursos, sino para otras personas. Así no esté dicho en el video (hm, será mejor que lo incluya?), está licenciado bajo CC-BY-NC 2.5 Colombia.

Comentarios y sugerencias son bien recibidos. :D

Permalink | Leave a comment  »

redescubriendo el mundo, una idea a la vez