결과 측정하기: 로타리는 진정 삶을 변화시키고 있을까?

오랫동안 로타리는 프로젝트에 투자한 돈과 시간, 또는 프로젝트와 프로그램을 통해 교육받은 사람의 수 등으로 프로젝트 결과를 측정해왔다. 이러한 정보도 유용하기는 하지만, 최근 들어 결과를 측정하는 접근 방식이 바뀌고 있다. 

지역사회의 요구 사항을 해결하는 데 투자된 자금, 시간 및 기타 자원을 살펴보는 것은 여전히 중요하지만 우리는 여기서 더 나아가야 한다. 우리의 목표는 보다 더 중요한 것이기 때문이다. 우리 회원들은 국내외 지역사회 주민들의 삶의 질을 향상시키고자 한다.  그러한 일이 일어나고 있는지, 그리고 우리가 개인적으로나 집단적으로 배우고 성장하고 있는지 확인하기 위해서는 실천의 결과로 발생하는 긍정적인 변화를 측정하기 위해 더 노력해야 한다. 

이것이 바로 로타리에서 말하는 영향력, 즉 우리의 실천에 따른 긍정적이고 장기적인 변화이다. 회원들은 경험과 봉사를 통해 성장하기 위해 로타리에 가입한다. 그리고 그 성장은 반성과 배움을 통해 이루어진다. 

이제 우리는 긍정적인 변화를 만들고 있는지 확실하게 알기를 원한다. 즉, 프로젝트가 진행되는 동안 프로젝트가 제대로 작동하는지 아니면 조정이 필요한지 확인하고, 어떤 결과가 나오는지 정확히 이해하고자 한다. 그리고 그 변화가 지속가능한 것인지 확인하고자 한다. 

그래서 우리의 실천 계획은 선행을 실천하는 것을 넘어 그 전체적인 결과를 측정하기를, 다시 말해 우리가 수행하는 모든 프로젝트에 모니터링과 평가를 포함시키기를 요구한다. 

케냐의 라리다 지구에서 실시된 의료 프로젝트의 매니저인 악셀 본 비어브라우 박사는 이를 위해서는 새로운 사고방식이 요구된다고 말한다. 그는 “대부분의 사람들이 '이번 프로젝트로 100명이 연수를 받았다'고 하면 충분한 데이터로 생각하지만  측정은 거기서 그치지 않습니다"라며 다음 단계, 즉 질적인 측면을 확인해야 합니다”라고 설명한다. 요컨대, 측정에는 프로젝트로 교육을 받은 지역사회 보건 요원들의 숫자를 세는 것뿐만 아니라 이 요원들이 교육받은 것을 충분히 활용해 환자들을 돌보고 있는지도 포함된다는 것이다.

수자원, 위생, 청결 로타리 액션그룹의 홍보대사이자 Global WaSH라는 단체의 창립자인 아이시스 메히아스도 지금까지 수자원 프로젝트의 측정은 깨끗한 식수원의 숫자에만 초점을 맞췄다고 지적한다. 메히아스는 “하지만 그래서는 아동들이 질병 없이 살아갈 때 일어나는 변화를 알 수 없죠"라며 “결과를 측정할 때는 프로젝트가 사람들의 삶을 얼마나 긍정적으로 바꾸어놓았는지를 봐야 합니다"라고 강조한다. 다시 말해 새로운 상수원의 숫자만 봐서는 이 프로젝트로 인해 창출된 직업 기회, 성평등, 시간 절약, 보건 향상 등의 효과는 보이지 않는다는 것이다.

그녀는 이러한 질적인 정보 수집은 우리의 영향력을 보여주는 것을 넘어 다른 프로젝트에 영감을 줄 수 있다고 말한다. 우간다의 한 프로젝트 파트너는 메히아스에게 과거에는 수질과 학교 출석 사이의 연관성을 깨닫지 못했으며, 소녀들이 월경 시에 안전한 화장실과 위생 지원이 없어 매달 일주일을 결석하는 사실을 알지 못했다고 들려주었다. 메히아스는 “영향력을 측정함으로써 이 파트너는 자신의 활동을 지속, 개선시킬 수 있었다"고 들려준다. “중요한 것은 단순히 몇 개의 펌프가 설치되었는지가 아니라 사람들의 삶이 어떻게 달라졌는지입니다. 깨끗한 식수로 인한 파급 효과를 살펴보는 거죠.” 

로타리재단 이사이자 자문단 단장인 마르셀로 하이크는 "우리 활동의 결과를 명확히 보여주면 회원 유치 및 유지에도 큰 도움이 된다"고 믿는다. “특히 젊은 사람들은 로타리에 가입할 때 기대치를 갖고 있어요. 그리고 그 기대치가 충족되지 않을 때 로타리를 떠납니다. 그들은 데이터 기반 문화에서 성장하고 일합니다. 결과를 측정하고 공유하는 것은 우리가 어떻게 진정한 영향을 미치고 있는지 보여줄 수 있는 효과적인 방법이죠.”

그렇다면 우리는 어떻게 적절한 측정 방법을 알 수 있을까? 한 가지 방법은 다른 사람들이 수집한 정보를 알아내는 것이다. 평가 컨설팅 회사인 매스매티카의 수석 연구원 랜들 블레어는 재단들과 정부 기관이 투자할 최상의 프로그램 유형을 결정하는 데 자문을 제공하고 있다. 신입 로타리안이기도 한 블레어는 계획 초기에 인터넷에 있는 대량의 정보를 활용하는 것만으로도 좋은 출발점이 될 수 있다고 말한다.

"'산모 사망률 감소' 또는 '문해력을 높이는 입증된 방법'과 같은 큰 개념을 검색하고, 더 효과적인 검색을 위해 UN 및 세계 은행과 같은 신뢰할 수 있는 국제 기구의 이름을 추가해보세요. 이런 종류의 초기 조사는 이미 효과가 검증된 솔루션과 성공의 척도를 파악하는 데 도움이 됩니다.” 

하지만 필요한 정보를 수집하는 데 모든 상황에 적합한 일률적인 방법은 존재하지 않는다. 일부 프로젝트의 경우 대규모 설문조사가 결과에 대한 정보를 수집하는 가장 좋은 방법이지만, 다른 프로젝트의 경우 경제 지표나 지역사회 구성원과의 인터뷰 또는 학부모 및 공무원들로 구성된 포커스 그룹 토론을 통해 결과를 평가할 수도 있다. 

데이터 수집 방법을 결정하기 위해서 로타리 회원들의 특기인 네트워크의 힘을 활용할 수도 있다. 로타리클럽은 지역 정부 기관이나 비정부기구, 대학 및 연구소와 협력할 수 있다. 본 비어브라우 박사는 이런 기관이 이미 품질 측정 전략 및 실시 경험, 데이터 수집과 관리, 그리고 그 효과를 분석할 수 있는 기술과 지식, 네트워크를 보유하고 있다고 지적한다.

메히아스는 우간다의 프로젝트를 위해 이 접근법을 사용했다. 그녀는 지역 대학과 연결을 맺었고 해당 대학은 지역사회에서 다양한 지표에 대한 기준이 될 설문조사를 개발하는 데 중요한 역할을 했다. 대학생들은 집집마다 다니며 설문조사를 실시해주었다. 메히아스는 로타리 회원들이 데이터를 수집하는 유사한 역할을 하고 데이터의 분석을 파트너에게 위임할 수도 있다고 말한다.

자문단에서 기본교육과 문해력 부문의 테크니컬 코디네이터로 활약 중인 비베카 세르더는 정보 수집의 빈도도 결정해야 한다고 지적한다. “기준이 될 문맹률을 모르면 성공을 측정할 수 없죠. 그래서 우리는 처음에 이 작업을 해야 합니다. 그 다음에는 '무슨 일이 일어날까?' '이 돈을 어떻게 써야할까?'를 생각해야 합니다. 그런 다음 1년 후, 2년 후, 그리고 로타리가 프로젝트에서 손을 뗀 후에 어떤 변화가 생겼으면 하는지 적어보세요. 이 모든 작업을 초기에 하는 것이 중요합니다. 그래서 프로젝트를 설계할 때 의도하는 장기적 효과를 포함시켜야 하고, 우리가 어디서 출발했고 우리의 노력으로 무엇이 달라졌는지를 알아야 합니다. 이걸 알기 위해서는 프로젝트가 종료되고 몇 년 후에 평가를 실시해야 하죠."

원하는 결과와 거기에 도달하는 데 필요한 단계를 파악하는 프로젝트 설계 방법은 '변화 이론'으로 알려진 프로세스로, 규모에 상관없이 모든 프로젝트에 적용할 수 있다.

블레어는 이것이 앞으로 일어나게 될 일에 대한 로드맵이라고 설명한다. “예를 들어, 교사 연수 프로그램에서는 먼저 연수에 지출할 비용, 대상 학교와 학생을 결정하는 방법, 연수에 포함될 내용을 문서화합니다. 그런 다음 모든 가정이 실현된다는 전제 하에, 연수로 인한 행동 변화 및 이점을 계획합니다. 교사와 학생의 참여가 개선되고 학생들이 새로운 방식의 참여를 통해 자료를 더 잘 이해하게 될까요? 연수를 통해 발생할 수 있는 결과는 무엇이든 측정할 수 있습니다.”

변화 이론을 어떻게 정의하든, 블레어가 말한 '성공의 비전'을 갖고 있으면 더욱 큰 변화를 창출할 수 있다. 

그녀는 “모든 사람들이 원하는 결과를 어떻게 달성할 것인지 자세히 설명해주는 하나의 계획을 공유한다면 프로젝트에 도움이 될 것"이라 말한다. “이를 통해 수년 후 사람들의 행동 양식은 바뀌고 그 이전으로는 결코 돌아가지 않게 될 것입니다. 그게 바로 영향력, 임팩트입니다”

지구 자원 네트워크와 연결하여 더 자세한 내용을 알아보세요.