2021:Evaluación/Conclusiones/Anexo
Anexo A: Resumen de métodos y limitantes
Metodología: La evaluación utilizó un enfoque centrado en la utilización. El propósito de la evaluación es comprender mejor la experiencia de los participantes en Wikimanía, así como los futuros procesos de planificación de eventos.
La evaluación adoptó un enfoque de métodos mixtos. Este criterio recogió datos cualitativos y cuantitativos. El muestreo de datos tenía como objetivo recoger toda la información necesaria para tomar decisiones estratégicas.
Entrevistas: Se realizaron un total de 12 entrevistas telefónicas/Zoom de una hora de duración. En ellas participaron cuatro miembros del personal de la Fundación Wikimedia, cinco miembros del equipo organizador de Wikimanía y tres miembros del comité de coordinación.
Formulario de inscripción: Todas las personas interesadas en participar en la conferencia rellenaron un formulario de inscripción a través de Eventbrite (el 100% de los participantes inscritos). Parte de la información recopilada era obligatoria y otra era opcional. Tras eliminar los duplicados, se utilizaron 3888 formularios de inscripción en esta evaluación.
Limitación: El formulario de inscripción tenía dos limitaciones. La primera, y quizá la más importante, fue que los individuos no indicaron que formaban parte de una comunidad tecnológica. Como resultado, no se puede desglosar la información de los participantes por su pertenencia a esta categoría. Este error también se repitió en la encuesta post-evento, ya que los datos de inscripción no se procesaron hasta después de la publicación de la misma. La segunda limitación en el formulario de registro fue que la pregunta sobre el lugar de residencia actual de las personas se hizo con demasiada amplitud. Las personas respondieron con ciudades, estados, provincias, países e incluso continentes. Esto llevó a un trabajo exhaustivo, y a un potencial aumento de los errores humanos, de codificar todas las respuestas a las zonas geográficas del subcontinente.
Encuesta posterior al evento a los participantes en Wikimanía: En las últimas horas, se envió una encuesta a todos los participantes de la conferencia a través del chat de Wikimanía. Una semana después, esta encuesta se compartió con todos los inscritos. Se produjo un retraso de una semana en la distribución de la encuesta como consecuencia de la traducción de la misma a seis idiomas. Se enviaron tres recordatorios a los participantes. La encuesta posterior al evento fue completada por 456 personas (tasa de respuesta del 26%). El retraso de una semana en la difusión de la encuesta traducida y la comunicación de la misma por correo electrónico puede haber influido en el índice de respuesta de la encuesta. También es posible que haya habido discrepancias en la traducción, pero debieran ser mínimas, ya que la encuesta fue traducida por profesionales y el 87% de las encuestas se completaron en inglés (árabe -1, alemán -17, inglés - 396, español - 19, francés - 12, ruso -7 y chino - 4).
Limitaciones: En las encuestas posteriores al evento no se preguntó a los participantes si eran becarios. Aunque queda fuera del ámbito de la evaluación, fue una oportunidad desperdiciada, ya que no se recogieron datos sobre las percepciones de los becarios.
Encuesta a los afiliados al programa de becas después del evento: En un principio, la evaluación pretendía entrevistar a los afiliados que distribuían becas para comprender mejor la eficacia del modelo de becas aplicado (es decir, a través de los afiliados). Sin embargo, debido a las demoras, la guía de la entrevista se transformó en una encuesta. Un total de 11 afiliados, de un total de 18, respondieron a la encuesta (tasa de respuesta del 61%).
Datos de Remo: La plataforma tecnológica de Wikimanía, Remo, contabilizó los asistentes a la conferencia y el tiempo que permanecieron en ella. Los datos de Remo se utilizaron para determinar cuántas personas asistieron realmente a la conferencia. Este conjunto de datos se combinó con los resultados de la inscripción.
Observaciones: El evaluador también participó en la conferencia y tomó apuntes de observación que se utilizaron para triangular los datos. También se realizaron evaluaciones de las redes sociales y de los chats de Wikimanía (incluido Telegram). El evaluador también asistió a una sesión retrospectiva de grupo sobre las lecciones aprendidas acerca de la organización de Wikimanía como un evento virtual. Este grupo de discusión fue dirigido por la Fundación Wikimedia.
Anexo B: Lista de preguntas de evaluación
Objetivo de la evaluación: Esta evaluación busca comprender totalmente si el diseño intencional de Wikimanía 2021 permitió, y en qué medida, no solamente el logro de un cambio de comportamiento entre las partes interesadas clave, sino también la reducción de las restricciones a la participación, a la vez que el crecimiento de la comunidad. Además, busca entender si el proceso de creación del evento se adhirió a los valores y principios de la Fundación Wikimedia y del Movimiento Wikimedia, según los principios de la estrategia del movimiento.
Preguntas de evaluación: La evaluación responderá a las siguientes preguntas:
Eficacia: ¿En qué medida Wikimanía 2021 alcanzó los resultados esperados?
- ¿Consiguió cada uno de los grupos clave involucrados que participaron en Wikimanía 2021 los cambios esperados? ¿Hubo otros efectos previstos, imprevistos, positivos o negativos de Wikimanía 2021?
- ¿En qué medida pudo la conferencia reducir los impedimentos para la asistencia y la participación significativa, especialmente entre los recién llegados?[1]
- ¿Cuál fue la experiencia de los participantes durante Wikimanía 2021? En específico, ¿cuál fue la experiencia de los nuevos participantes de Wikimanía y de la comunidad técnica?
- ¿Hasta qué punto pudieron los participantes aumentar sus contactos sociales a través de Wikimanía? ¿Existe alguna diferencia entre los antiguos y los nuevos en cuanto a sus relaciones sociales?
- ¿En qué medida el evento pudo generar nuevas ideas o proyectos para los voluntarios?
Proceso: ¿En qué medida el proceso de desarrollo de Wikimanía 2021 encarnó los valores del movimiento Wikimedia y los principios de la Fundación Wikimedia?
- ¿Qué lecciones se aprendieron durante el proceso de desarrollo y realización de Wikimanía 2021? En particular, la fundación está interesada en comprender la eficacia de la comunicación, la colaboración y el trabajo conjunto de los organizadores.
- ¿En qué se diferenció la experiencia de desarrollo y realización de Wikimanía para cada uno de los grupos de interés implicados (comité coordinador de Wikimanía, equipo organizador principal, Fundación Wikimedia)? ¿La experiencia de desarrollar, organizar y ejecutar un evento virtual cumplió sus objetivos y expectativas?
- ¿Cuáles son los aspectos más estratégicos de una conferencia virtual para alcanzar los objetivos de Wikimanía? ¿Qué aspectos deben mejorarse? (Incluyendo: idioma, plataformas tecnológicas, estructuras de las sesiones, becas, etc.)
- ¿Fue el nivel de apoyo a los ponentes y participantes suficiente para ser efectivo? (Incluyendo la accesibilidad lingüística, la tecnología y las indicaciones)
- ¿En qué medida el evento fue accesible e inclusivo? ¿Qué medidas se tomaron para garantizar la seguridad de los participantes? ¿Hubo diferencias en cuanto a la inclusión y la acogida de los recién llegados y los que volvieron?[2]
- Además, la revisión del proceso también mostrará los aprendizajes más importantes de los siguientes procesos: Hackatón, Wikimedista del año, opciones de idioma y colaboración del comité.
Indicadores adicionales:
La evaluación también tratará de responder a las siguientes preguntas, si los datos de las evaluaciones de años anteriores están disponibles y son comparables.
- ¿Cuáles fueron las principales diferencias entre Wikimanía 2019 y Wikimanía 2021 en cuanto a la experiencia de la conferencia, la aplicación de lo aprendido o el incremento de las relaciones entre los grupos demográficos? ¿En qué medida las diferencias en las conferencias tuvieron un impacto en la experiencia?
- Datos demográficos de los participantes (por ejemplo, número de asistentes, nuevos participantes, zonas geográficas, idioma, género)
Anexo C: Trayectoria del evaluador
Vanessa Corlazzoli es una evaluadora experimentada y líder de equipo con más de 15 años de especialización en las organizaciones sin fines de lucro, el desarrollo internacional y los sectores de investigación. Tiene una gran experiencia en la aplicación de programas de aprendizaje en toda la organización y marcos de seguimiento y evaluación (M&E). Es consultora de evaluación independiente con clientes que incluyen: La Fundación Mastercard, el Programa Mundial de Alimentos, Mercy Corps, el Fondo para la Democracia, el Banco Mundial, International Budget Partnership y The Washington Center. Vanessa está considerada como una referente intelectual y es autora de varios artículos sobre el papel de la teoría y la práctica de la supervisión y evaluación en el sector de la consolidación de la paz y la gobernanza.
Durante seis años, Vanessa dirigió la unidad de seguimiento y evaluación de Search for Common Ground. También ha trabajado para el Ministerio de Investigación e Innovación de Ontario y el grupo de investigación del G8. Tiene un máster por la Universidad de Tufts - The Fletcher School of Law and Diplomacy y una licenciatura, en Estudios sobre la Paz y los Conflictos, por la Universidad de Toronto.