2021:Beurteilung/Erkenntnisse/Anhang
Anhang A: Zusammenfassung der Methoden und Schwächen
Methodik: Die Beurteilung folgte einer anwendungsorientierten Herangehensweise. Sie soll verwendet werden, um die Erfahrungen der Wikimania-Teilnehmenden und Planungen für zukünftige Veranstaltungen besser zu verstehen.
Die Beurteilung umfasste gemischte Methoden. Damit konnten sowohl qualitative als auch quantitative Daten erhoben werden. Die Datenerhebung sollte so viele Informationen wie möglich versammeln, um strategische Entscheidungen treffen zu können.
Interviews: Insgesamt wurden zwölf einstündige Interviews über Telefon oder Zoom geführt. Die Interviewten waren vier Angestellte der Wikimedia Foundation, fünf Mitglieder des Kern-Organisationsteams der Wikimania und drei Mitglieder des Wikimania-Vorstands.
Anmeldeformular: Alle interessierten Personen, die an der Konferenz teilnehmen wollten, meldeten sich über ein Formular bei Eventbrite an (100 % der Teilnehmenden). Dabei gab es optionale Felder und Pflichtfelder. Nach Ausschluss von Duplikaten blieben 3888 Anmeldeformulare für diese Beurteilung übrig.
Schwächen: Das Anmeldeformular hatte zwei Schwächen. Die vielleicht wichtigste war, dass Personen keine Angaben bezüglich ihrer Zugehörigkeit zu einer Tech-Community machen konnten. Daher kann keine Auswertung mit Blick auf solche Gruppen gemacht werden. Der Fehler setzte sich auch in der Befragung nach Abschluss der Veranstaltung fort, da die Anmeldedaten zu diesem Zeitpunkt noch nicht ausgewertet worden waren. Die andere Schwäche war, dass die Frage nach dem aktuellen Aufenthaltsort zu offen gestellt wurde. Personen gaben wahlweise Städte, Bundesstaaten, Provinzen, Länder oder gar Kontinente an. Dadurch mussten erst noch in einem langwierigen und fehleranfälligen Prozess alle Antworten normiert werden.
Teilnehmendenbefragung nach Abschluss der Wikimania: Bei Abschluss der Konferenz wurde eine Befragung über den Wikimania-Chat an alle Anwesenden verschickt. Eine Woche später wurde die Befragung allen Angemeldeten zugänglich gemacht. Diese Verzögerung von einer Woche kam zustande, weil die Befragung noch in sechs Sprachen übersetzt werden sollte. Danach wurden je bis zu drei Erinnerungen, die Befragung auszufüllen, verschickt. 456 Personen füllten die Befragung aus (26 %). Die Verzögerung bei der Übersetzung und der E-Mail-Versand könnten Einfluss auf die Antwortfrequenz gehabt haben. Möglicherweise gab es auch kleinere Unstimmigkeiten bei den Übersetzungen, doch sie wurden professionell erstellt und 87 % der Befragungen wurden auf Englisch ausgefüllt (Arabisch: 1, Deutsch: 17, Englisch: 396, Spanisch: 19, Französisch: 12, Russisch: 7, Chinesisch: 4).
Schwächen: In der Befragung nach Abschluss der Wikimania wurde nicht gefragt, ob man ein Stipendium in Anspruch genommen hatte. Auch wenn dies außerhalb des Rahmens dieser Beurteilung liegt, war dies eine vertane Chance, denn es wurden keine Daten zu den Ansichten von Stipendienempfängern und -empfängerinnen gesammelt.
Befragung der Partnerorganisationen zu Stipendien: Ursprünglich sollten für diese Beurteilung Interviews mit den Partnerorganisationen geführt werden, die Stipendien vergaben, um die Effektivität des Stipendienmodells besser zu verstehen. Aber aufgrund von Verzögerungen wurde das geplante Interview in eine Befragung umgewandelt. Elf von 18 Partnerorganisationen beantworteten die Befragung (61 %).
Daten von Remo: Remo, die Plattform, über die Wikimania veranstaltet wurde, zeichnete auf, wer anwesend war und wie lange. Die Remo-Daten wurden verwendet, um die tatsächlichen Teilnehmendenzahlen festzustellen. Die Daten wurden mit den Anmeldedaten abgeglichen.
Beobachtungen: Die Beurteilerin nahm auch selbst an der Konferenz teil und machte als Beobachterin Notizen, die mit den erhobenen Daten kombiniert wurden. Auch Beobachtungen der sozialen Medien und Wikimania-Chats (darunter Telegram) wurden erfasst. Die Beurteilerin nahm außerdem an einer Rückblick-Sitzung teil, in der Erfahrungen über das Organisieren einer virtuellen Wikimania ausgetauscht wurden. Diese Fokusgruppe wurde von der Wikimedia Foundation geleitet.
Anhang B: Liste der Beurteilungsfragen
Ziel der Beurteilung: Mithilfe dieser Beurteilung soll umfassend erfasst werden, ob und in welchem Ausmaß die Gestaltung der Wikimania 2021 es geschafft hat, nicht nur das Verhalten der wichtigsten Stakeholder zu ändern, sondern auch Zugangshürden zu verringern und Communitywachstum zu stimulieren. Außerdem soll untersucht werden, ob der Entwicklungsprozess der Veranstaltung den Werten und Prinzipien der Wikimedia Foundation und der Wikimedia-Bewegung entsprochen hat, gemäß den Strategieprinzipien.
Beurteilungsfragen: Die Beurteilung wird die folgenden Fragen beantworten:
Effektivität: Inwieweit hat Wikimania 2021 die erwarteten Ergebnisse gebracht?
- Konnten alle zentralen Interessensgruppen/Stakeholder der Wikimania 2021 die erwarteten Änderungen durchlaufen? Gab es weitere erwartete, unerwartete, positive oder negative Ergebnisse der Wikimania 2021?
- Inwieweit konnte die Konferenz Zugangshürden verringern und echte Teilnahme erleichtern, besonders bei Newcomern?[1]
- Welche Erfahrungen machten Teilnehmende während der Wikimania 2021, insbesondere neue Teilnehmende und solche aus der Tech-Community?
- Inwieweit konnten Teilnehmende während der Wikimania neue Kontakte knüpfen? Sind hier Unterschiede zwischen Erfahrenen und Newcomern zu beobachten?
- Inwieweit konnten aus dem Event neue Ideen oder Projekte für Freiwillige hervorgehen?
Prozess: Inwieweit entsprach der Entwicklungsprozess der Wikimania 2021 den Werten der Wikimedia-Bewegung und den Prinzipien der Wikimedia Foundation?
- Welche Erfahrungen konnten während des Entwicklungs- und Umsetzungsprozesses der Wikimania 2021 gesammelt werden? Die Foundation interessiert vor allem, wie gut innerhalb des Organisationsteams kommuniziert, zusammengearbeitet und gemeinschaftlich gestaltet wurde.
- Wie unterschieden sich die Erfahrungen während der Entwicklung und Umsetzung der Wikimania bei den einzelnen beteiligten Interessensgruppen (Wikimania-Vorstand, Kern-Organisationsteam, Wikimedia Foundation)? Entsprachen die Erfahrungen bei der Entwicklung, Organisation und Umsetzung eines virtuellen Events ihren gesetzten Zielen und Erwartungen?
- Welche Teilaspekte einer virtuellen Konferenz waren strategisch am bedeutsamsten für das Erreichen der Ziele der Wikimania? (Man denke an: Sprache, technische Plattform, Struktur der Sitzungen, Stipendien usw.)
- Wurde genügend Unterstützung für Vortragende und Teilnehmende angeboten (Sprache, Technik, Anleitungen)?
- Wie zugänglich und offen war die Veranstaltung? Mit welchen Maßnahmen wurde die Sicherheit aller Teilnehmenden garantiert? Gab es Unterschiede zwischen Erfahrenen und Newcomern darin, wie willkommen und einbezogen sie sich fühlten?[2]
- Zusätzlich werden in die Prozessanalyse auch zentrale Erkenntnisse aus folgenden Teilen einbezogen: Hackathon, Wikimedian of the Year, Sprachoptionen, Committee Collaboration.
Zusätzliche Hinweise:
Die Beurteilung wird auch versuchen, die folgenden Fragen zu beantworten, sofern geeignete Vergleichsdaten aus früheren Jahren verfügbar sind.
- Was waren grundsätzliche Unterschiede zwischen Wikimania 2019 und Wikimania 2021 hinsichtlich Konferenzerfahrung, Anwendung des Gelernten oder der Zunahme von Beziehungen zwischen demografischen Gruppen? Inwieweit hatten diese Unterschiede in den Konferenzen Einfluss auf die Erfahrung?
- Demografische Informationen zu Teilnehmenden (etwa Teilnehmendenzahl, neue Teilnehmende, Standort, Sprache, Geschlecht)
Anhang C: Biografie der Beurteilerin
Vanessa Corlazzoli ist eine Gutachterin und Teamleiterin mit mehr als 15 Jahren Erfahrung, spezialisiert auf Gemeinnützigkeit, internationale Entwicklung und Forschung. Sie hat außerordentliche Erfahrung in der Umsetzung von Lern-Agenden und Monitoring and Evaluation (M&E) in Organisationen. Sie arbeitet als selbständige Beraterin für unter anderem die Mastercard Foundation, das Welternährungsprogramm, Mercy Corps, den Democracy Fund, die Weltbank, International Budget Partnership oder das Washington Center. Vanessa gilt als tonangebend in ihrem Bereich und ist Autorin mehrerer Paper über die Rolle von theoretischem und praktischem M&E in Peacebuilding und Governance.
Sechs Jahre lang stand Vanessa der M&E-Abteilung der NGO Search for Common Ground vor. Außerdem arbeitete sie für das Ministerium für Forschung und Innovation von Ontario und die G8 Research Group. Sie hat einen Masterabschluss der Tufts University (The Fletcher School of Law and Diplomacy) und einen Bachelorabschluss in Friedens- und Konfliktstudien der Universität Toronto.