2021:Оценка/Результаты/Приложение
Приложение A: Обзор методов и ограничений
Методология: В оценке использовался подход, ориентированный на использование. Целевое использование оценки — лучше понять опыт участников Викимании, а также процессы планирования будущих мероприятий.
В оценке использовался смешанный подход. Этот подход собирал как качественные, так и количественные данные. Выборка данных была направлена на сбор как можно большего количества информации, необходимой для принятия стратегических решений.
Интервью: Всего было проведено 12 телефонных/зум интервью продолжительностью один час. В число респондентов входили четыре сотрудника Фонда Викимедиа, пять членов Основной организационной команды Викимании и три члена Руководящего комитета.
Регистрационная форма: Все люди, желающие принять участие в конференции, заполнили регистрационную форму через Eventbrite (100% зарегистрированных участников). Часть собранной информации была обязательной, а часть – по желанию. После удаления дубликатов в этой оценке было использовано 3888 регистрационных форм.
Ограничения: В регистрационной форме было два ограничения. Первым и, возможно, самым важным было то, что люди не указывали, что они являются частью технологического сообщества. В результате информация об участниках не может быть выделена по принадлежности к этой группе. Эта ошибка также была воспроизведена в опросе после мероприятия, поскольку регистрационные данные не обрабатывались до тех пор, пока не был опубликован опрос после мероприятия. Второе ограничение в регистрационной форме заключалось в том, что вопрос о том, где в настоящее время проживают люди, был слишком широким. Люди указывали города, штаты, провинции, страны и даже континенты. Это привело к очень трудоемкому и потенциально увеличивающему человеческие ошибки кодированию всех ответов на географические субконтиненты.
Участники Викимании после проведения опроса: Опрос был разослан всем участникам конференции в последние часы опроса через чат Викимании. Неделю спустя после мероприятия опрос был распространен среди всех зарегистрировавшихся. Задержка в распространении опроса на одну неделю произошла в результате перевода опроса на шесть языков. Всего участникам было направлено три напоминания. В опросе после мероприятия приняли участие 456 человек (коэффициент ответов 26%). Недельная задержка выпуска переведенного опроса и рассылки опроса по электронной почте могла повлиять на процент ответов на опрос. Также могут быть расхождения в переводе, но они должны быть минимальными, поскольку опрос был профессионально переведен и 87% опросов были заполнены на английском языке (на арабском -1, немецком -17, английском - 396, испанском - 19, французском - 12, русском - 7 и китайском - 4).
Ограничения: В опросах, проведенных после мероприятия, людей не спрашивали, были ли они стипендиатами. Хотя это не входило в рамки оценки, это была упущенная возможность, поскольку не было собрано никаких данных о восприятии получателей стипендий.
Опрос партнерских организаций по стипендиям, проведенный после мероприятия: Первоначально оценка предназначалась для опроса партнерских организаций, которые распределяли стипендии, чтобы лучше понять эффективность применяемой модели стипендий (т. е. через партнерские организации). Однако из-за временных задержек руководство по проведению интервью было преобразовано в опрос. Всего на опрос ответили 11 партнерских организаций из 18 (коэффициент ответов 61%).
Данные Remo: Remo, технологическая платформа Викимании, собирала информацию о том, кто посетил конференцию и как долго они оставались на конференции. Данные Remo использовались для определения того, сколько людей на самом деле посетило конференцию. Этот набор данных был объединен с результатами регистрации.
Наблюдения: Оценщик также участвовал в конференции и делал записи наблюдений, которые использовались для триангуляции данных. Также собиралась информация из наблюдений за социальными сетями и чатами Викимании (включая Telegram). Оценщик также посетил групповую ретроспективную сессию по урокам, извлеченным из организации Викимании, как виртуального мероприятия. Эту фокус-группу возглавил Фонд Викимедиа.
Приложение B: Список оценочных вопросов
Цель оценки: Эта оценка направлена на то, чтобы полностью понять, позволил ли и в какой степени целевой дизайн Викимании 2021 не только добиться изменения поведения среди основных заинтересованных сторон, но и снизить барьеры для участия, одновременно способствуя росту сообщества. Интерес оценки состоял и в том, чтобы понять, соответствовал ли процесс создания этого мероприятия ценностям и принципам Фонда Викимедиа и движения Викимедиа, изложенным в Принципах стратегии развития движения.
Оценочные вопросы: Оценка ответит на следующие вопросы:
Эффективность: В какой степени Викимания 2021 достигла ожидаемых результатов?
- Достигла ли каждая из ключевых групп заинтересованных сторон, участвующих в Викимании 2021, ожидаемых изменений? Были ли другие ожидаемые, неожиданные, положительные или отрицательные результаты Викимании 2021?
- В какой степени конференция смогла снизить барьеры для посещения и полноценного участия, особенно среди новичков?[1]
- Каков был опыт участников во время Викимании 2021? В частности, каков был опыт новых участников Викимании и технического сообщества?
- В какой степени участники смогли расширить свои социальные связи благодаря Викимании? Есть ли разница между ветеранами и новичками с точки зрения их социальных связей?
- В какой степени это мероприятие смогло сгенерировать новые идеи или проекты для волонтеров?
Процесс: В какой степени процесс разработки Викимании 2021 воплощал в себе ценности движения Викимедиа и принципы Фонда Викимедиа?
- Какие уроки были извлечены в процессе разработки и внедрения Викимании 2021? В частности, Фонд заинтересован в том, чтобы понять, насколько хорошо организаторы общались, сотрудничали и совместно создавали.
- Чем отличался опыт разработки и внедрения Викимании для каждой из вовлеченных заинтересованных групп (Руководящий комитет Викимании, Основная организационная команда, Фонд Викимедиа)? Соответствовал ли опыт разработки, организации и реализации виртуального мероприятия их целям и ожиданиям?
- Какие аспекты виртуальной конференции были наиболее стратегическими для достижения целей Викимании? Какие аспекты нуждаются в дальнейшем улучшении? (В том числе: язык, технологические платформы, структуры сессий, стипендии и т. д.)
- Был ли уровень поддержки докладчиков и участников достаточным для того, чтобы быть эффективным? (включая языковую доступность, технологии, инструкции)
- Насколько доступным и инклюзивным было мероприятие? Какие меры были приняты для обеспечения безопасности участников? Были ли какие-либо различия в том, насколько включенными и желанными чувствовали себя новички и ранее участвовавшие?[2]
- Кроме того, обзор процесса также выявит основные выводы по следующим процессам: Хакатон, Викимедиец года, Языковые возможности и Сотрудничество комитетов.
Дополнительные показатели:
Оценка также будет направлена на получение ответов на следующие вопросы, если данные оценки за предыдущие годы доступны и сопоставимы.
- В чем заключались основные различия между Викиманией 2019 и Викиманией 2021 в отношении опыта проведения конференций, применения знаний или роста отношений между разными демографическими группами? В какой степени различия в конференциях повлияли на такой опыт?
- Демографическая информация об участниках (т.е. количество участников, новые участники, географическое положение, язык, гендер)
Приложение C: Биография оценщика
Ванесса Корлаццоли — опытный оценщик и руководитель команд с более чем 15-летним опытом работы в некоммерческих организациях, секторе международного развития и исследований. Она имеет значительный опыт реализации общеорганизационных программ обучения и систем мониторинга и оценки (МиО). Она является независимым консультантом по оценке, среди ее клиентов: Фонд Mastercard, Всемирная продовольственная программа, Корпус милосердия, Фонд демократии, Всемирный банк, Международное бюджетное партнерство и Вашингтонский центр. Ванесса считается лидером мнений, автором нескольких статей о роли теории и практики МиО в секторе миротворчества и управления.
В течение шести лет Ванесса руководила отделом по мониторингу и оценке Search for Common Ground. Она также работала в Министерстве исследований и инноваций Онтарио и в Исследовательской группе G8. Она имеет степень магистра Университета Тафтса — Школы права и дипломатии Флетчера и степень бакалавра в области исследований мира и конфликтов Университета Торонто.