2021：評估報告/調查結果/附件
附件 A：方法和限制的總結
方法： 評估使用了以利用為中心的評估方法。評估的預期用途是更好地了解維基媒體國際會議參與者的體驗，以及未來的活動規劃流程。
評估使用了混合方法。這種方法收集了定性和定量數據。數據抽樣旨在收集制定策略決策所需盡可能多的信息。
採訪： 總共進行了12次電話/Zoom採訪，採訪持續了一小時。受訪者包括四名維基媒體基金會工作人員，五名維基媒體國際會議核心組織團隊成員，和三名維基媒體國際會議指導委員會成員。
註冊表格： 所有自行希望參加會議的人都通過Eventbrite填寫了註冊表格（100%的註冊參與者）。當中收集的一些信息是強制性的，一些是可選的。刪除重複項後，本次評估使用了3888份登記表格。
限制： 註冊表格中有兩個限制。首先，也許最重要的是，註冊者並未表明他們是技術社群的一部分。結果，參與者的信息不能通過是否屬於該分組來分析。同時，這個錯誤在事後調查中出現了，因為註冊數據直到事後調查發布後才被處理。 登記表格的第二個限制是有關人們目前居住地的問題過於寬泛。註冊者表示城市，州，省，國家，甚至大洲。這導致了對次大陸地理的所有答案進行編碼的勞動增加和潛在的人為錯誤增加。
維基媒體國際會議參與者的會後調查： 在調查的最後幾個小時，通過維基媒體國際會議聊天室向所有會議參與者發送了一份調查。一周後，與所有註冊者共享了會後調查。由於調查需要翻譯成六種語言，調查報告延遲了一周發佈。一共向參與者發送了三個提醒訊息。會後調查由456人完成（回覆率為26%）。發佈翻譯後的調查和通過電子郵件傳達調查的一周延遲可能對調查響應率產生了影響。同時可能存在翻譯差異，但這些差異應該很小，因為該調查是專業翻譯的，87%的調查是用英語完成的（阿拉伯語-1，德語-17，英語-396，西班牙語-19，法語-12，俄語-7，和中文-4）。
限制： 會後調查沒有詢問參與者是否是補助金接受者。雖然這不在評估範圍內，但這是一個錯失的機會，因為沒有收集到有關補助金接受者看法的數據。
附屬分支機構補助金會後調查： 最初，評估旨在採訪分發補助金的附屬分支機構，以更好地了解所應用的補助金模式的有效性（即通過附屬分支機構）。然而，由於時間延誤，採訪指南被轉化為調查。18個附屬分支機構中共有11個回答了調查（回覆率為61%）。
Remo數據： 維基媒體國際會議的技術平台Remo收集了參加會議的人員，以及他們在會議上停留的時間。Remo數據用於確定實際參加會議的人數。數據集與註冊結果相結合。
觀察： 評估人員參加了會議，並記錄了用於三角測量數據的觀察記錄。同時，評估人員捕獲了對社交媒體和維基媒體國際會議聊天室（包括 Telegram）的觀察。 評估人員參加了關於將維基媒體國際會議組織為虛擬活動的經驗小組回顧會議。該焦點小組由維基媒體基金會領導。
附件 B：評估問題清單
評估目標： 本次評估旨在充分了解維基媒體國際會議2021的目標設計是否，以及在多大程度上，不僅能夠實現關鍵利益相關者的行為改變，並能夠在促進社群發展的同時減少參與的障礙。此外，了解創建活動的過程是否符合維基媒體基金會和維基媒體運動的價值觀和原則，如維基媒體運動策略原則中所述是十分興趣的。
評估問題： 評估將回答以下問題：
有效性： 維基媒體國際會議2021在多大程度上達到了預期的效果？
- 參與維基媒體國際會議2021的每個主要利益相關者團體是否都實現了預期的變化？維基媒體國際會議2021是否還有其他預期的，意外的，正面或負面的結果？
- 維基媒體國際會議在多大程度上能夠減少出席和有意義參與的障礙，特別是新參與者？[1]
- 維基媒體國際會議2021期間參與者的體驗如何？特別是，新的維基媒體國際會議參與者和技術社群的體驗如何？
- 參與者在多大程度上能夠通過維基媒體國際會議發展他們的社交聯繫？豐富經驗者和新參與者在社交關係方面有區別嗎？
- 該活動在多大程度上能夠為志願者產生新的想法或專案？
過程： 維基媒體國際會議2021的發展過程在多大程度上體現了維基媒體運動的價值觀和維基媒體基金會的原則？
- 在發展和實施維基媒體國際會議2021的過程中吸取了哪些經驗教訓？特別是，維基媒體基金會有興趣了解組織者的溝通，合作和共同創造的效果。
- 對於所涉及的每個利益相關者團體（維基媒體國際會議指導委員會，維基媒體國際會議核心組織團隊，維基媒體基金會），發展和實施維基媒體國際會議的經驗有何不同？發展，組織和實施虛擬活動的經驗是否符合他們的目標和期望？
- 虛擬會議的哪些方面對實現維基媒體國際會議的目標最具策略意義？哪些方面需要進一步改進？（包括：語言，技術平台，會議結構，補助金等等）
- 對演講者和參與者的支援程度是否足以有效？ （包括語言可訪問性，技術，說明）
- 該會議的可訪問性和包容性如何？當中採取了哪些措施來確保參與者的安全？ 新參與者和豐富經驗者的包容性和受歡迎程度有什麼不同嗎？[2]
- 此外，流程審查將突出以下流程的關鍵學習：黑客馬拉松(Hackathon)，年度維基媒體成員，語言選項，和委員會協作。
附加指標：
如果前幾年的評估數據可用且具有可比性，此評估將尋求回答以下問題。
- 維基媒體國際會議2019和維基媒體國際會議2021在會議體驗，學習應用或人口群體之間的關係增長方面的主要區別是什麼？會議的差異在多大程度上影響了體驗？
- 參與者人口統計信息（如參與者人數，新參與者，地理位置，語言，性別）
附件 C：評估人員簡歷
Vanessa Corlazzoli是一位經驗豐富的評估人員和團隊負責人，在非營利，國際發展和研究領域擁有超過15年的專業經驗。她在實施組織範圍內的學習議程，以及監測和評估 (M&E) 框架方面擁有豐富的經驗。她是一名獨立評估顧問，其客戶包括：萬事達卡基金會，世界糧食計劃署，美慈組織(Mercy Corps)，民主基金(Democracy Fund)，世界銀行，國際預算夥伴關係(International Budget Partnership)，和華盛頓中心(The Washington Center)。 Vanessa 被認為是一位思想領袖，她撰寫了多篇關於監測和評估的理論和實踐在和平建設和治理部門中的作用的論文。
六年來，Vanessa領導了Search for Common Ground的監測和評估部門。 同時，她曾在安大略省研究與創新部門和G8研究小組工作。她擁有塔夫茨大學弗萊徹法律與外交學院 (The Fletcher School of Law and Diplomacy, Tufts University)的碩士學位, 和多倫多大學的和平與衝突研究學士學位。