생활연구: 블라인드 테스트를 일상에서 활용하는 방법

얼마 전 트위터에서 우연히 '이중맹검'이라는 단어를 봤습니다. 분명 들어본 단어였지만 정확히 알지 못해 검색해보니 '맹검'이 '블라인드 테스트'더군요. 제가 아는 블라인드 테스트는 브랜드 가리고 제품 맞추기 정도였는데, '이중'이라는 게 정확히 뭔지 궁금해져서 살짝 공부를 해봤습니다.

저는 요즘 새로운 지식을 습득할 때 이 지식을 내 삶에 어떻게 적용하여 유의미한 변화를 만들어낼까? 를 항상 염두에 두고자 노력합니다. 이런 고민 없이 그냥 기억하려고만 했던 (당시에는 분명 흥미로웠던) 지식은 대개 그저 뇌를 스쳐지나가기만 하더군요. 맹검법이라는 흥미로운 개념 또한 제 삶과 연결시키기 위해 시간을 들여봤습니다.

좀 더 구체적으로는, 다음과 같은 궁금증을 해소하기 위해 위키피디아를 읽고 ChatGPT와 문답을 나눴어요.

1. 이중맹검은 무엇이고, 다른 맹검법과는 어떻게 다른가?
2. 연구자들이 맹검법을 사용할 때의 단점이나 주의점은 무엇인가?
3. 연구논문을 읽을 때는 맹검법에 대한 지식을 어떻게 활용하면 좋을까?
4. 일상생활에서의 의사결정 과정에 맹검법에 대한 지식을 어떻게 활용하면 좋을까?
5. 일상생활에서 '맹검법에 대한 지식을 활용해야겠다'는 인식을 어떻게 해낼 수 있을까?

몇 년 전이었다면 아마 1번, 어쩌면 2번 단계에서 지식을 정리하는 데 그쳤을 것 같아요. 다음 단계들의 질문을 생각해낼 수 있다는 것에서 스스로의 성장이 느껴져 뿌듯하네요. 하나씩 답을 정리해보겠습니다.

맹검법이란?

모든 과학 실험에는 실험군과 통제군이 있어야 합니다. 비교대상 없이 현상(약물 투약의 효과, 제품 기능의 만족도 등)을 제대로 해석할 수 없기 때문입니다.

그리고 인간을 대상으로 하는 실험에서는 언제나 심리적/인지적 편향을 염두에 두어야 합니다. 플라시보 효과가 대표적인 예시죠. 위약을 먹었을 때보다 유의미하게 효과가 좋아야만 어떤 약에 특정한 효과가 있다고 주장할 수 있습니다.

맹검법은 인간의 주관을 최대한 배제시켜 과학 실험의 객관성을 확보하는 기법입니다. 크게 3가지 단계가 있습니다.

1. 단일맹검(Single Blind Test): 실험 참가자가 자신이 실험군인지 통제군인지(e.g., 내가 먹는 게 진짜 약인지 위약인지) 알지 못하게 합니다. 간단히 말하면 먹는 약에 라벨이 안 붙어 있는 거죠. 더 나아가 실험의 목적 자체를 숨기기도 합니다.
2. 이중맹검(Double Blind Test): 실험 참가자뿐 아니라, 실험을 진행하는 연구자들에게도 참가자가 어떤 그룹에 속해있는지 숨깁니다. 즉, 약을 먹은 개별 참가자에게 생긴 변화를 약에 대한 정보 없이 관찰하고 평가하는 것입니다.
3. 삼중맹검(Triple Blind Test): 참가자, 연구자, 그리고 결과 데이터를 통계적으로 분석하는 연구진에게까지 참가자가 속한 그룹을 숨깁니다. 만약 연구자 본인이 분석까지 하는 경우에는, ‘어떤 사람에게 숨기냐’가 아닌 ‘어떤 단계까지 숨기냐’에 따라 이중과 삼중맹검이 구분된다고 볼 수 있습니다.

이제 맹검법에 대한 지식을 얻었으니, 이걸 크게 두 가지 상황에서 활용할 수 있겠다고 생각했어요. 하나는 연구논문을 읽고 해석할 때, 다른 하나는 일상생활에서.

논문 독자의 맹검 활용법

우선 연구논문을 읽은 뒤, 그 결과를 믿고 활용하려면 ‘반복해서 재현이 가능한가?’가 중요하겠죠. 이를 판단하려면 결국 ‘연구를 어떻게 했는가’를 꼼꼼히 읽어야 합니다. 예전에는 논문의 '연구 방법(Methods)'을 읽을 때 참가자를 어떻게 모집했나, 측정 지표는 어떻게 정의내렸고 기준이 무엇인가, 설문조사라면 문항의 단어나 순서가 편향을 주도록 설계되진 않았나 등을 확인했어요. 이제는 맹검법을 사용했나, 했다면 어느 수준까지 사용했나를 볼 수 있게 됐네요.

그런데 단순히 맹검법을 사용했는지 여부만으로 논문을 평가내리는 건 부당할 수 있습니다. 맹검법이 그저 좋기만 했다면 모든 논문이 맹검법을 썼을테니까요. 이 질문은 당연히 있을 장단점을 파악하기 위한 것이었습니다.

Q. 연구자로서 맹검법을 사용할 때의 단점이나 주의할 점은?

ChatGPT가 여러가지 답을 해줬는데 결국 핵심은 연구의 비용과 복잡성이 늘어난다는 것이었습니다. 요약하면:

• 참가자 입장: 참가자에게 정보를 숨겨야 하므로 윤리적 문제가 생길 수 있습니다. 또한 위약이 투약될 수도 있다는 걸 인지하면 참가자의 동기가 줄어들거나 애초에 이탈해버릴지도 모릅니다. 이를 벌충하려면 연구진이 더 많은 비용과 노력을 들여야겠죠.
• 연구자 입장: 연구진이 실험 처리에 대한 정보로부터 완전히 배제되는 것을 보장하기는 쉽지 않습니다. 특히 약물에서 부작용이 예상되는 경우라면 오히려 숨기면 안될 수도 있고요. 정보를 잘 숨기는 데 성공했다면, 거꾸로 실험 과정에서 생기는 예외 사항이나 특이 사례에 대응하기가 어려워집니다.

이렇게 보니 이중맹검이나 삼중맹검을 사용한 연구는 그 자체만으로도 경의를 표할 수 있겠다는 생각이 들었습니다. 그 다음 좀 더 이해를 높이기 위해 실제 사례를 보고 싶었습니다. 다시 ChatGPT에게 물었죠.

Q. 맹검법을 사용했어야 했는데 그러지 않아서 비판받은 연구는 뭐가 있을까?

하지만 이 질문에 대해서는 ChatGPT가 좀 발뺌하을 하더군요. 실제 논문은 안 주고 가상 시나리오를 줬습니다. 그래도 예시를 보니 이해는 잘 되었습니다.

• 연구 분야: 심리학
• 가상의 시나리오: 스마트폰 앱이 우울증 증상에 미치는 영향 평가 연구
• 설명: 이 연구에서는 스마트폰 앱이 우울증 증상 감소에 기여하는지 평가했습니다. 하지만 연구진이 단일맹검 접근법만을 사용했고, 연구 참가자만이 어떤 치료(실제 앱 사용 또는 가상의 앱 사용)를 받고 있는지 모르는 상태였습니다. 연구자들이 어떤 참가자가 어떤 그룹에 속해 있는지 알고 있었기 때문에, 그들의 기대와 편향이 연구 결과에 영향을 미칠 수 있는 여지가 있었습니다. 이 연구는 연구 설계의 이러한 약점 때문에 비판을 받았으며, 결과의 신뢰성에 대한 의문이 제기되었습니다.

일상생활에서의 맹검 활용법

맹검법을 공부하는 게 재미있긴 했지만, 제가 본격적으로 연구를 하는 사람도 아니고 논문을 읽는 시간도 제 삶의 극히 일부밖에 안 됩니다. 지식이 의미를 가지려면 일상적인 삶 속에서 활용할 방법을 찾아야겠다고 생각했죠. 꼭 진지한 연구가 아니더라도 생활 속에서는 얼마든지 작게작게 실험할 수 있을 거라고도 생각했고요. 그래서 맹검법의 일상 활용 사례에 대해 ChatGPT에게 질문했습니다.

Q. 일상생활에서의 의사결정 과정에 맹검법에 대한 지식을 어떻게 활용하면 좋을까?

최대한 다양한 시나리오를 보고 싶어서 GPT에게 이와 비슷한 질문을 한글과 영어로 여러 번 물어봤는데요. 대부분은 평이한 아이디어였지만 (e.g., 제품 구매 전에 블라인드 테스트를 거친 리뷰를 찾아본다, 새로운 음악/미술/영화를 접할 때 작가, 장르, 평가를 보지 않고 평가한다) 신선한 것도 몇 개 있었습니다. 그 중 2가지를 여기 소개합니다.

시나리오 1: 새로운 습관이나 루틴이 실제로 기분이나 생산성에 영향을 미치는지 확인한다

• 자신의 일상에서 작은 변화를 주고, 그 영향을 기록하며 관찰합니다. 예를 들어, 아침 일찍 일어나는 습관이 하루의 기분이나 생산성에 미치는 영향을 평가하고 싶다면, 일주일 동안 일찍 일어나는 날과 평소처럼 일어나는 날을 무작위로 배정하고, 각 날의 기분과 완료한 일의 양을 기록합니다. 가능한 한 자신이 어떤 실험 조건에 있는지 모르게 하여(물론 완벽한 맹검은 어렵겠지만) 주관적인 기대가 결과에 미치는 영향을 최소화합니다.

시나리오 2: 사람들과의 대화나 의견 교환에서 생길 수 있는 선입견이나 편향을 인식하고 줄인다

• 의견이나 아이디어를 평가할 때, 그것이 누구의 의견인지 모르는 상태에서 고려해보기. 예를 들어, 회의에서 아이디어를 공유할 때 참여자의 이름이나 직위를 숨기고 아이디어의 내용만으로 가치를 평가해볼 수 있습니다.

전자는 제가 매일 일기를 쓰며 그날의 만족도를 기록하기 때문에 유사하게 해볼 수 있겠다 싶었고요. 후자는 다양한 아이디어가 필요한 회의를 할 때 유용할지도 모르겠다는 생각이 들었어요. 각잡고 퍼실리테이션할 때는 물론 포스트잇 따위를 사용하지만, 평소에도 의견 뒤에 사람 이름을 적지 않는 것의 긍정적 효과를 기대해봄직하겠습니다.

맹검법을 활용해야 한다는 걸 잊지 않으려면?

맹검법의 정의와 종류, 장단점, 논문 읽을 때 활용, 일상생활에서의 활용. 다양하게 공부해보면서 저의 이해는 분명히 늘었어요. 하지만 문제는, 제가 현실에서 ‘맹검법이 뭔지 알아?’ 같은 시험을 치고 있는 게 아니라는 점입니다.

만약 논문을 읽을 때 ‘블라인드 테스트를 썼다’고 나오면, 그때는 맹검법에 대한 지식을 기억해내서 자세히 읽고 평가할 수 있을 것 같아요. 하지만 그런 키워드가 나오지 않았을 때에도 이게 가능할까요? 저는 개발자로서 코드리뷰를 할 때, 리뷰 대상 코드가 ‘잘못한’ 것은 눈에 잘 띄지만 ‘하지 않은 것’을 발견하는 건 항상 어렵게 느껴지더군요. 여기서 공부를 끝낸다면, 맹검법에 대해서도 비슷한 일이 벌어질 것 같았습니다.

이게 ‘직접 맹검법이라는 키워드를 보지 않고도, 내가 이 지식에 근거해 비판적 사고를 하도록 만드려면 어떤 장치가 필요할까’라는 생각을 하게 된 이유입니다. 이것 또한 ChatGPT와 상담을 해봤죠.

Q. 일상생활에서 '맹검법에 대한 지식을 활용해야겠다'는 인식 자체를 어떻게 해낼 수 있을까?

이에 대한 GPT의 답변을 간단히 요약해볼게요.

1. 일상의 의사결정 과정 관찰 및 기록: 어떤 정보를 바탕으로 결정했는지, 그 결정이 어떤 가정이나 선입견에 기반한 건 아닌지 분석한다. 과거의 결정을 돌아보며 기대와 어디가 어떻게 왜 달랐는지 회고한다.
2. 비판적 사고 훈련: 비판적 사고를 강화하는 교육자료를 읽고, 워크숍에 참여하여 정보 분석 및 평가 기술을 습득한다. 정보를 습득할 때는 다양한 주제, 다양한 관점에서 제공된 자료를 찾도록 노력한다.
3. 자기 반성적 질문 습관: ‘내가 이 결정을 내린 근거는?’ ‘이 정보의 출처를 신뢰할 수 있나?’ ‘내가 간과하고 있는 대안은 없나?’ 같은 질문을 셀프로 던지는 습관을 형성한다.
4. 실험적 마인드셋: 새로운 결정이나 선택을 했을 때, 그것이 나에게 긍정적 영향을 미치는지 관찰하고 기록한다.

본래는 '시계를 보면 맹검을 든 무사를 떠올려보자' 같은 트리거를 얘기해주려나? 했는데 아니더군요. 맹검법 자체를 활용하겠다는 인식을 위해서라기보다는 비판적 사고를 훈련하는 방법에 가까웠습니다. 물론 맹검법이 비판적 사고의 범주 안에 있으니 크게 나쁠 건 없었지만, 얘기해준 대부분이 일일 습관 기록과 저널링을 통해 이미 어느 정도는 실행하고 있는 것들이라서 아쉽기도 했어요. 그래도 이정도로 노력을 기울였으니 맹검법에 대해 앞으로 까먹을 것 같진 않아서, 여기서 만족하려 합니다.