2021년:평가/결과/부록
부록 A: 방법 및 제한 사항 요약
방법론: 평가는 활용 중심 평가 접근 방식을 사용했습니다. 평가의 의도된 용도는 위키마니아 참가자의 경험과 향후 이벤트 계획 프로세스를 더 잘 이해하는 것입니다.
평가는 혼합 방법 접근 방식을 사용했습니다. 이 접근 방식은 질적 데이터와 양적 데이터를 모두 수집했습니다. 데이터 샘플링은 전략적 결정을 내리는 데 필요한 정보를 최대한 수집하는 것을 목표로 했습니다.
인터뷰: 총 12건의 전화/줌 인터뷰가 1시간 동안 진행되었습니다. 여기에는 위키미디어 재단 직원 4명, 위키마니아 핵심 조직 팀원 5명, 운영 위원회 위원 3명이 포함되었습니다.
등록 양식: 컨퍼런스에 참여하고자 하는 모든 자체 선택 개인은 Eventbrite를 통해 등록 양식을 작성했습니다(등록된 참가자의 100%). 수집된 정보 중 일부는 필수이고 일부는 선택 사항이었습니다. 중복을 삭제한 후, 이 평가에는 3888개의 등록 양식이 사용되었습니다.
제한: 등록 양식에는 두 가지 제한이 있었습니다. 첫 번째이자 아마도 가장 중요한 것은 개인이 자신이 기술 커뮤니티의 일원임을 표시하지 않았다는 것입니다. 결과적으로 참가자 정보는 이 그룹에 속한다는 이유로 분류할 수 없습니다. 이 오류는 사후 이벤트 설문 조사에서도 반복되었는데, 사후 이벤트 설문 조사가 공개된 후에야 등록 데이터가 처리되었기 때문입니다. 등록 양식의 두 번째 제한은 사람들이 현재 어디에 살고 있는지에 대한 질문이 너무 광범위했다는 것입니다. 개인은 도시, 주, 도, 국가, 심지어 대륙까지 표시했습니다. 이로 인해 모든 답변을 하위 대륙 지리로 코딩하는 데 매우 노동 집약적이고 잠재적으로 인적 오류가 증가했습니다.
이벤트 후 설문 조사 위키마니아 참가자: 설문조사는 설문조사 마지막 시간에 위키마니아 채팅을 통해 모든 컨퍼런스 참가자에게 전송되었습니다. 1주일 후에 행사 후 설문조사가 모든 등록자에게 공유되었습니다. 설문조사를 6개 언어로 번역하는 과정에서 설문조사 배포가 1주일 지연되었습니다. 총 3회의 알림이 참가자들에게 전송되었습니다. 행사 후 설문조사는 456명이 완료했습니다(응답률 26%). 번역된 설문조사를 공개하고 이메일을 통해 설문조사를 전달하는 데 1주일이 지연된 것이 설문조사 응답률에 영향을 미쳤을 수 있습니다. 번역 불일치가 있었을 수도 있지만 설문조사가 전문적으로 번역되었고 설문조사의 87%가 영어로 완료되었기 때문에(아랍어 -1, 독일어 -17, 영어 - 396, 스페인어 - 19, 프랑스어 - 12, 러시아어 -7, 중국어 - 4) 이는 최소화되어야 합니다.
제한: 사후 이벤트 설문 조사에서는 개인에게 장학금 수혜자인지 묻지 않았습니다. 평가 범위 밖에 있지만, 장학금 수혜자의 인식에 대한 데이터가 수집되지 않았기 때문에 이는 놓친 기회였습니다.
행사 후 장학금 가맹단체 설문 조사: 원래 평가는 장학금을 배포한 가맹단체를 인터뷰하여 적용된 장학금 모델(즉, 가맹단체를 통해)의 효과를 더 잘 이해하기 위한 것이었습니다. 그러나 시간 지연으로 인해 인터뷰 가이드가 설문 조사로 바뀌었습니다. 18개 중 11개의 가맹단체가 설문 조사에 응답했습니다(응답률 61%).
Remo 데이터: 위키마니아의 기술 플랫폼인 Remo는 누가 컨퍼런스에 참석했고 얼마나 오래 머물렀는지 수집했습니다. Remo 데이터는 실제로 컨퍼런스에 참석한 사람의 수를 파악하는 데 사용되었습니다. 이 데이터 세트는 등록 결과와 결합되었습니다.
관찰: 평가자는 또한 회의에 참여하여 데이터를 삼각 측량하는 데 사용된 관찰 노트를 작성했습니다. 소셜 미디어와 위키마니아 채팅(텔레그램 포함)에 대한 관찰도 수집했습니다. 평가자는 또한 위키마니아를 가상 이벤트로 구성하는 것에 대해 얻은 교훈에 대한 그룹 회고 세션에 참석했습니다. 이 초점 그룹은 위키미디어 재단이 주도했습니다.
부록 B: 평가 질문 목록
평가의 목표: 이 평가는 위키마니아 2021의 의도적인 디자인이 주요 이해 관계자들 사이에서 행동 변화를 달성할 수 있었을 뿐만 아니라 커뮤니티 성장을 가능하게 하면서 참여 장벽을 줄였는지, 그리고 어느 정도까지 가능했는지 완전히 이해하고자 합니다. 또한, 이 행사를 만드는 과정이 운동 전략 원칙에 명시된 워키미디어 재단과 위키미디어 운동의 가치와 원칙을 준수했는지 이해하는 데 관심이 있습니다.
평가 질문: 평가에서는 다음과 같은 질문에 답합니다:
효과성: 위키마니아 2021은 예상했던 성과를 어느 정도 달성했나요?
- 위키마니아 2021에 참여한 주요 이해 관계자 그룹 각각이 예상한 변화를 달성했습니까? 위키마니아 2021의 다른 예상, 예상치 못한, 긍정적 또는 부정적 결과가 있었습니까?
- 이번 컨퍼런스는 특히 신규 참여자의 참석 및 의미 있는 참여에 대한 장벽을 얼마나 줄이는 데 도움이 되었나요?[1]
- 위키마니아 2021 동안 참가자들의 경험은 어땠나요? 특히, 새로운 위키마니아 참가자들과 기술 커뮤니티의 경험은 어땠나요?
- 참가자들은 위키마니아를 통해 얼마나 사회적 연결을 키울 수 있었나요? 베테랑과 신입생 사이에 사회적 연결 측면에서 차이가 있나요?
- 이 행사가 자원봉사자들에게 새로운 아이디어나 프로젝트를 얼마나 창출해냈나요?
절차: 위키마니아 2021 개발 과정은 위키미디어 운동의 가치와 위키미디어 재단의 원칙을 얼마나 구체화했습니까?
- 위키마니아 2021을 개발하고 구현하는 과정에서 어떤 교훈을 얻었습니까? 특히, 재단은 조직자들이 얼마나 잘 소통하고, 협력하고, 공동 창작했는지 이해하는 데 관심이 있습니다.
- 각 이해 관계자 그룹(위키마니아 운영 위원회, 핵심 조직 팀, 위키미디어 재단)의 위키마니아 개발 및 구현 경험은 어떻게 달랐나요? 가상 이벤트를 개발, 조직 및 구현하는 경험이 목표와 기대에 부합했나요?
- 가상 컨퍼런스의 어떤 측면이 위키마니아의 목표를 달성하는 데 가장 전략적이었는가? 어떤 측면이 더 개선되어야 하는가? (언어, 기술 플랫폼, 세션 구조, 장학금 등 포함)
- 발표자와 참가자에 대한 지원 수준이 효과적일 만큼 충분했습니까? (언어 접근성, 기술, 지침 포함)
- 행사는 얼마나 접근성이 좋고 포괄적이었나요? 참가자의 안전을 보장하기 위해 어떤 조치를 취했나요? 신규 참가자와 베테랑이 포함되고 환영받는다고 느끼는 데 차이가 있었나요?[2]
- 또한, 프로세스 검토에서는 해커톤, 올해의 위키미디어, 언어 옵션, 위원회 협업 등의 프로세스에 대한 주요 학습 내용도 강조합니다.
추가 지표:
평가를 통해 이전 연도의 평가 데이터가 이용 가능하고 비교 가능한 경우, 다음 질문에 답하고자 합니다.
- 위키마니아 2019와 위키마니아 2021의 주요 차이점은 무엇이며, 이는 컨퍼런스 경험, 학습 내용 적용 또는 인구 통계 그룹 간의 관계 성장과 관련이 있습니까? 컨퍼런스의 차이가 경험에 어느 정도 영향을 미쳤습니까?
- 참가자 인구 통계 정보(예: 참석자 수, 신규 참가자 수, 지역, 언어, 성별)
부록 C: 평가자의 약력
바네사 코를라졸리는 비영리, 국제 개발 및 연구 분야를 전문으로 하는 15년 이상의 경력을 가진 숙련된 평가자이자 팀 리더입니다. 그녀는 조직 전체의 학습 일정과 모니터링 및 평가(M&E) 프레임워크를 구현한 상당한 경험을 가지고 있습니다. 그녀는 마스터카드 재단, 세계 식량 계획, 머시 콥스, 민주주의 기금, 세계 은행, 국제 예산 파트너십, 워싱턴 센터를 포함한 고객을 보유한 독립적인 평가 컨설턴트입니다. 바네사는 평화 구축 및 거버넌스 분야에서 M&E 이론과 실천의 역할에 대한 여러 논문을 저술한 사상적 리더로 여겨집니다.
바네사는 6년 동안 공통점 검색의 모니터링 및 평가 부서를 이끌었습니다. 그녀는 또한 온타리오 연구 및 혁신부과 G8 연구그룹에서 일했습니다. 그녀는 터프츠 대학교 - 플레처 법학 및 외교 대학원에서 석사 학위를 받았고 토론토 대학교에서 평화와 갈등 연구에 중점을 둔 학사 학위를 받았습니다.