2021:Évaluation/Conclusions/Annexe
Annexe A : Résumé des méthodes et des limites
Méthodologie L'évaluation a utilisé une approche d'évaluation axée sur l'utilisation. L'utilisation prévue de l'évaluation est de mieux comprendre l'expérience des participants à Wikimania, ainsi que les processus de planification des événements futurs.
L'évaluation a utilisé une approche mixte. Cette approche a permis de collecter des données tant qualitatives que quantitatives. L'échantillonnage des données visait à recueillir le maximum d'informations nécessaires à la prise de décisions stratégiques.
Interviews: Au total, 12 entretiens par téléphone/zoom d'une durée d'une heure ont été réalisés. Il s'agissait de quatre membres du personnel de la Fondation Wikimédia, de cinq membres de l'équipe organisatrice principale de Wikimania et de trois membres du comité directeur.
Formulaire d'inscription : Toutes les personnes ayant choisi de participer à la conférence ont rempli un formulaire d'inscription via Eventbrite (100% des participants inscrits). Certaines des informations recueillies étaient obligatoires et d'autres facultatives. Après suppression des doublons, 3888 formulaires d'inscription ont été utilisés dans cette évaluation.
Limite : Le formulaire d'inscription présentait deux limites. La première, et peut-être la plus importante, est que les individus n'ont pas indiqué qu'ils faisaient partie d'une communauté technologique. Par conséquent, les informations sur les participants ne peuvent être ventilées en fonction de leur appartenance à ce groupement. Cette erreur a également été reproduite dans l'enquête post-événement car les données d'inscription n'ont été traitées qu'après la publication de l'enquête post-événement. La deuxième limite du formulaire d'inscription était que la question sur le lieu de résidence actuel des personnes était trop large. Les personnes ont indiqué des villes, des États, des provinces, des pays et même des continents. Le codage de toutes les réponses en fonction de la géographie du sous-continent a nécessité beaucoup de travail et une augmentation potentielle de l'erreur humaine.
Enquête post-événement des participants à Wikimania : Un sondage a été distribué à tous les participants de la conférence durant les dernières heures de la conférence via le chat Wikimania. Une semaine plus tard, l'enquête post-événement a été partagée avec toutes les personnes enregistrées. La distribution de ce sondage a été retardée d'une semaine en raison de sa traduction en six langues. Au total, trois rappels ont été envoyés aux participants. L'enquête post-événement a été remplie par 456 personnes (taux de réponse de 26%). Le retard d'une semaine dans la publication de l'enquête traduite et la communication de l'enquête par e-mail peuvent avoir eu un impact sur le taux de réponse à l'enquête. Il se peut également qu'il y ait eu des écarts de traduction, mais ceux-ci devraient être minimes puisque l'enquête a été traduite par des professionnels et que 87% des enquêtes ont été remplies en anglais (arabe -1, allemand -17, anglais -396, espagnol -19, français -12, russe -7, et chinois -4).
Limites : Les enquêtes menées après l'événement n'ont pas demandé aux personnes si elles étaient des bénéficiaires de bourses d'études. Bien que cela n'entre pas dans le cadre de l'évaluation, il s'agit d'une occasion manquée car aucune donnée n'a été recueillie sur les perceptions des boursiers.
Enquête sur les affiliés aux bourses d'études après l'événement : À l'origine, l'évaluation devait interroger les affiliés qui distribuaient des bourses d'études afin de mieux comprendre l'efficacité du modèle de bourses d'études appliqué (c'est-à-dire par l'intermédiaire des affiliés). Cependant, en raison de retards, le guide d'entretien a été transformé en enquête. Au total, 11 affiliés sur 18 ont répondu à l'enquête (taux de réponse de 61%).
Données Remo : La plateforme technologique de Wikimania, Remo, a recueilli les noms des participants à la conférence et la durée de leur séjour. Les données de Remo ont été utilisées pour identifier le nombre de personnes ayant réellement assisté à la conférence. Cet ensemble de données a été combiné avec les résultats de l'enregistrement.
Observations : L'évaluateur a également participé à la conférence et a pris des notes d'observation qui ont été utilisées pour trianguler les données. Il a également observé les médias sociaux et les chats de Wikimania (y compris Telegram). L'évaluateur a également assisté à une session de rétrospective de groupe sur les leçons tirées de l'organisation de Wikimania en tant qu'événement virtuel. Ce groupe de discussion était dirigé par la Fondation Wikimédia.
Annexe B : Liste des questions d'évaluation
Objectif de l'évaluation : Cette évaluation cherche à comprendre pleinement si et dans quelle mesure la conception intentionnelle de Wikimania 2021 a permis non seulement d'obtenir un changement de comportement chez les principales parties prenantes, mais aussi de réduire les obstacles à la participation tout en permettant la croissance de la communauté. En outre, elle cherche à comprendre si le processus de création de l'événement a adhéré aux valeurs et aux principes de la Fondation Wikimédia et du Mouvement Wikimédia, tels que décrits dans les Principes de stratégie du mouvement.
Questions d'évaluation : L'évaluation répondra aux questions suivantes :
Efficacité : Dans quelle mesure Wikimania 2021 a-t-elle atteint les résultats escomptés ?
- Chacun des groupes de parties prenantes clés participant à Wikimania 2021 a-t-il obtenu les changements attendus ? Y a-t-il eu d'autres résultats attendus, inattendus, positifs ou négatifs de Wikimania 2021 ?
- Dans quelle mesure la conférence a-t-elle permis de réduire les obstacles à l'assistance et à une participation significative, en particulier chez les nouveaux arrivants ?[1]
- Quelle a été l'expérience des participants pendant Wikimania 2021 ? En particulier, quelle a été l'expérience des nouveaux participants à Wikimania et de la communauté technique ?
- Dans quelle mesure les participants ont-ils pu développer leurs relations sociales grâce à Wikimania ? Y a-t-il une différence entre les vétérans et les nouveaux arrivants en termes de relations sociales ?
- Dans quelle mesure l'événement a-t-il pu générer de nouvelles idées ou projets pour les volontaires ?
Processus : Dans quelle mesure le processus de développement de Wikimania 2021 a-t-il incarné les valeurs du mouvement Wikimédia et les principes de la Fondation Wikimédia?
- Quelles leçons ont été tirées du processus de développement et de mise en œuvre de Wikimania 2021 ? En particulier, la Fondation souhaite comprendre dans quelle mesure les organisateurs ont su communiquer, collaborer et co-créer.
- En quoi l'expérience du développement et de la mise en œuvre de Wikimania a-t-elle été différente pour chacun des groupes de parties prenantes impliqués (comité de pilotage de Wikimania, équipe centrale d'organisation, Fondation Wikimédia) ? L'expérience de développement, d'organisation et de mise en œuvre d'un événement virtuel a-t-elle répondu à leurs objectifs et attentes ?
- Quels aspects d'une conférence virtuelle ont été les plus stratégiques pour atteindre les objectifs de Wikimania ? Quels aspects doivent encore être améliorés ? (Notamment : la langue, les plateformes technologiques, la structure des sessions, les bourses d'études, etc.)
- Le niveau de soutien aux orateurs et aux participants était-il suffisant pour être efficace ? (y compris l'accessibilité linguistique, la technologie, les instructions)
- Dans quelle mesure l'événement était-il accessible et inclusif ? Quelles mesures ont été prises pour assurer la sécurité des participants ? Y a-t-il eu des différences dans la façon dont les nouveaux arrivants et les vétérans se sont sentis inclus et accueillis ?[2]
- En outre, l'examen des processus mettra également en évidence les principaux enseignements tirés des processus suivants : Hackathon, Wikimédien de l'année, Options linguistiques, et Collaboration avec le comité.
Indicateurs supplémentaires :
L'évaluation cherchera également à répondre aux questions suivantes, si les données d'évaluation des années précédentes sont disponibles et comparables.
- Quelles ont été les principales différences entre Wikimania 2019 et Wikimania 2021 en ce qui concerne l'expérience de la conférence, l'application des enseignements ou la croissance des relations entre les groupes démographiques ? Dans quelle mesure les différences entre les conférences ont-elles eu un impact sur l'expérience ?
- Informations démographiques sur les participants (nombre de participants, nouveaux participants, zones géographiques, langue, sexe, etc.)
Annexe C : Biographie de l'évaluateur
Vanessa Corlazzoli est une évaluatrice et une chef d'équipe expérimentée, spécialisée depuis plus de 15 ans dans les secteurs des organisations à but non lucratif, du développement international et de la recherche. Elle possède une expérience considérable dans la mise en œuvre de programmes d'apprentissage à l'échelle de l'organisation et de cadres de suivi et d'évaluation (S&E). Elle est consultante indépendante en évaluation et compte parmi ses clients : La Fondation Mastercard, le Programme alimentaire mondial, Mercy Corps, le Democracy Fund, la Banque mondiale, l'International Budget Partnership et le Washington Center. Vanessa est considérée comme un leader d'opinion, ayant rédigé plusieurs articles sur le rôle de la théorie et de la pratique du S&E dans le secteur de la consolidation de la paix et de la gouvernance.
Pendant six ans, Vanessa a dirigé l'unité de suivi et d'évaluation de Search for Common Ground. Elle a également travaillé pour le ministère de la recherche et de l'innovation de l'Ontario et le groupe de recherche du G8. Elle est titulaire d'une maîtrise de l'université Tufts - The Fletcher School of Law and Diplomacy et d'une licence, axée sur les études sur la paix et les conflits, de l'université de Toronto.