'선우' 회원이 한국 젊은이의 대표?

어떤 선거든 선거가 끝나고 흔히 듣는 소리가 있다. 내가 아는 사람들은 아무도 그를 안찍었는데, 어떻게 그가 당선될 수 있었을까. 허망하고도 희한하다. 이 희한한 현상을 설명하기 위해서는 통계와 심리학에 대한 상식이 좀 필요한데, 결론만 먼저 말하자면 '내가 아는 사람들' 은 선거 결과를 예측하기 위한 표본으로서는 매우 적당하지 않은 집단이며, 사람은 누구나 자기 기준으로 세상을 본다는 것이다 .

복잡하고 재미없게만 보이는 통계가 필요한 이유는 크게 두 가지이다. 하나는 어떤 집단의 여러 가지 특성을 보기 쉽게 잡아낼 수 있다는 점이고, 다른 하나는 일부만 조사해 보아도 전체의 특성을 유추해 낼 수 있다는 점이다.

전자는 이른바 descriptive statistics 라 불리며, 센서스로 인구 조사를 한 뒤 여러 인구 특성을 들여다보는 것이 이에 해당한다. 후자는 이른바 referential statistics 로, 선거를 앞두고 유권자의 일부만 전화 조사한 뒤 그 결과로 최종 득표율을 예상하는 것 따위가 포함된다.

descriptive 통계는 간명하게 나와 있는 수치를 밝혀주면 되니 크게 복잡하지 않지만, 부분으로부터 전체를 유추해야 하는 일반화 과정 (generalization) 이 핵심인 referential 통계는 그 타당성과 신뢰성 측면에서 많은 함정이 도사리고 있다. 그리고 그런 덫에 빠져 통계 결과를 잘못 해석하는 일은 대중 매체에서 흔히 벌어진다. 그 중에서도 가장 신나게 자주 벌어지는 일은 매우 편향된 표본 (sample) 의 조사 결과를 전체로 확장시키는 어이없는 일이다. 다음 기사들을 보자.

<2005 한국의 결혼 풍속도> "이런 배우자를 원해요"

학력, 연봉, 출신 고교, 종교.

본보가 결혼정보업체 '선우' 회원 9462명을 서울시립대 이윤석(李允碩·도시사회학과) 교수와 함께 분석한 결과 결혼 적령기에 있는 한국의 젊은이들은 배우자를 고를 때 이 네 가지를 가장 중시하는 것으로 나타났다. (중략)

이번 조사에서는 결혼 적령기 남녀가 배우자를 선택할 때 상대방의 출신 고교에 관심을 기울이는 것으로 나왔다. (하략)

한 사설 결혼정보업체에 등록된 결혼 희망자들이 순식간에 '결혼 적령기에 있는 한국의 젊은이' 로 둔갑했다. 그리고 이들의 이런저런 희망 사항이 '한국의 결혼 풍속도' 로 그려졌다. 크게 잘못된 확장이다.

두 집단, 그러니까 기사에서 조사한 결혼정보업체 회원들 ('선우' 라고 하자) 과 기사가 무지막지하게 일반화를 시도하고 있는 결혼 적령기의 한국 젊은이들 ('전체' 라고 하자) 간에 얼마나 큰 차이가 있는가. 예컨대 얼른 생각할 수 있는 것만도,

1. 선우 (서울 등 특정 지역에 몰려있다) / 전체 (전국에 분포한다)
2. 선우 (결혼하려고 적극 나선 사람들이다) / 전체 (아닌 사람도 많다)
3. 선우 (회원비를 부담할 정도로 여유있는 부류다) / 전체 (천차만별이다)
4. 선우 (상업적 소개 방식을 선호하는 사람들이다) / 전체 (천차만별이다)
5. 선우 (비교적 동질성이 높다) / 전체 (천차만별이다)

이것 말고도 수많은 차이가 있을 것이다. 한마디로, 결혼정보업체 회원들은 한국의 결혼 적령기 젊은이를 대표할 수가 없는 것이다. 그러기는커녕, 한국 젊은이들 중 매우 편향된 특성을 가진 한 부분 집단일 뿐이다. 그런데도 이들을 조사한 결과를 놓고 기사는 "한국 젊은이들은 어떤어떤 배우자를 원한다" 는 식으로 일관되게 서술되어 있다. 그 결과, 한국의 결혼 적령기 젊은이들은 배우자의 '출신 고등학교' 를 세 번째로 중요한 선택 기준으로 따진다거나 종교가 매우 중요한 선택 기준이 된다는 등의 우스꽝스러운 진술이 나왔다. (결혼정보업체 회원들은 그럴 만한 이유가 있다.)

기사는 <2005년 한국의 결혼 풍속도> 라고 해서, 마치 한 결혼정보업체에 등록한 회원들이 당대의 젊은이들을 대표하는 듯한 어마어마한 제목을 달아놨는데, <결혼정보업체 회원들의 결혼 풍속도> 정도라야 그나마 양심적이고 정확한 제목이 될 것이다. 물론 기사가 조사 결과를 일관되게 해당 업체 회원들의 특징으로 한정해 서술했다면 아무런 문제가 없었을 것이다.

기사에서는 "남자는 가계를 책임지고 여자는 자녀 교육을 맡는 전통적인 부부 간 역할 분담에 대한 인식이 신세대라고 해서 크게 달라지지 않은 점도 눈길을 끈다" 라고 하여, 해당 업체 회원들을 '신세대' 로 확장하기도 했다. 그러나 기사 어디에도 회원들의 나이 분포가 나와 있지 않다. 같은 업체의 여성 회원들만을 대상으로 한 다른 조사에서는 대상자가 44세까지로 되어 있다. 윗 기사에서 나온 조사 대상에는 남자까지 포함되어 있다. 이들이 모두 '신세대' 인지 정말 궁금하다. 물론 설사 그렇다고 해도 이들이 역시 한국의 신세대 일반을 대표하지 못함은 마찬가지다.

참고로 2001년에 한 인터넷 사이트가 회원들을 대상으로 한 조사에서는 배우자를 선택하는 기준이 성격-경제력-집안-외모의 순으로 나타났으며, 한 대학 교수가 대학생들을 상대로 한 조사에서는 친절하고 이해력 있는 성격과 지적임, 건강함, 흥미로운 성격, 신체적 매력 등이 1∼5위를 기록했다. 특정한 집단만을 대상으로 한 조사는 비록 그 대상자가 연령이 비슷하다 하더라도 그 결과가 이처럼 아주 다르게 나온다. 결과를 조사 대상자에 해당하는 것으로만 한정해야지 전체로 확장할 수 없는 이유다.

똑같은 예가 또 있다. 아래 기사다.

미혼여성들 "백마탄 왕자만나 부담없이…"

[2005 한국여성의 현주소] 47% "조건 맞으면 이혼남과 결혼 가능"

대한민국의 미혼 여성들은 결혼에 대해 무슨 꿈을 꾸며, 직장 생활과 정치에 대해서는 어떤 생각을 하고 있을까. 본지는 창간 41주년 특집으로 결혼정보업체 ‘선우’와 공동으로 ‘2005 한국 여성의 현주소’ 설문 조사를 실시했다. 결혼관을 중심으로 가사 및 취업, 여성의 정치 참여 의식까지 라이프 스타일을 다각적으로 살펴보고 점검함으로써 여성 삶의 질을 높이는 방안을 모색해 보기 위해서다. (중략)

요즘 미혼 여성들은 현실을 중시하면서도 신데렐라의 꿈은 버리지 못하는 것으로 나타났다. 온통 재벌 왕자들의 세상인 TV의 영향일까. 실현 가능성이 0.00001%에도 못 미치는 줄 뻔히 알면서도 미혼 여성들은 여전히 백마 탄 왕자를 기다린다. (이 정도면 보도 기사라기보다 소설이라고 할 만하다.) (중략)

미혼 여성 10명 중 6명이 결혼 뒤 가장 부담이 될 것 같은 가사활동으로 ‘자녀 양육’을 꼽았다. (하략)

여기서도 한 결혼정보업체 회원들의 의견을 '대한민국 미혼 여성' 의 의견으로 둔갑시켰다. '요즘 미혼 여성' 일반으로도 둔갑됐다. 결혼하고 싶어서 정보업체 회원으로 가입한 여성들이 대체 '2005년 한국 여성의 현주소' 를 대표하여 제대로 보여줄 수 있단 말인가.

기사에 밝힌 대로 '대한민국의 미혼 여성들은 결혼에 대해 무슨 꿈을 꾸며, 직장 생활과 정치에 대해서는 어떤 생각을 하고 있을까' 를 알아보기 위해서는 달랑 한 결혼정보업체 회원들만 조사해서는 안된다. 그 조사로는 기껏해야 결혼정보업체에 등록한 회원들의 의식만 알 수 있을 뿐이다. 그러니 '조건만 맞으면' 이혼남과도 결혼하겠다는 사람이 절반이나 나오는 것이다. 상식이다.

비슷한 잘못을 범하고 있는 또다른 기사.

"교통사고 원인 1위는 휴대전화 사용"

운전 중 휴대전화 사용이 교통사고의 가장 큰 원인인 것으로 나타났다. 혜민병원 관절센터팀은 최근 교통사고로 병원을 찾은 환자 326명을 대상으로 사고 원인을 조사한 결과 전체의 31%(101명)가 본인 또는 상대방(가해자)이 운전 중 휴대전화를 사용하다가 사고를 낸 것으로 나타났다고 20일 밝혔다. (하략)

달랑 한 병원의 환자만 조사한 결과로 전체 교통사고의 원인을 밝히는 엄청난 일을 해냈다. 그러나 박수를 받기보다 비난을 받아 마땅한 기사다.

저 병원의 교통사고 환자들은 교통사고 원인을 조사하여 그 통계를 내는 데 매우 부적절한 표본이다. '관절센터' 의 환자들이니만치 다른 부상 (예컨대 장파열) 을 당한 교통사고 피해자들이 배제되어 있을 것이며, 사고가 크게 나서 아예 사망한 사람들도 모조리 빠져 있다. 그런데도 '운전 중 휴대전화 사용이 가장 큰 원인' 이라고 아무런 단서 없이 막무가내식 일반화를 꾀했다. 운전중 휴대전화 사용에 대한 경각심을 불러일으키기에는 좋은 기사일지 몰라도 신빙성과 신뢰도가 크게 떨어진다. 휴대전화 사용이 심각한 문제이긴 하지만, 기사는 정확한 사실을 진술해야 한다.

기사들이 이같은 초보적인 오류를 범하지 않으려면, 기사의 기획 단계에서부터 기사 작성 단계에 이르기까지 기사의 범위를 해당 표본 (조사 대상) 의 특성으로 철저하게 제한해야 한다. 대표성을 지닌 표본을 정해진 절차에 따라 추출한 조사가 아닌 한 말이다. 전체의 모습을 보려면 전체를 대표하는 표본을 뽑아내야 한다.

이런 오류가 끊임없이 반복되는 이유는 1) 기자의 무신경 2) 조사와 그 결과의 진술 방법에 대한 이해 부족 3) 선정성의 유혹 4) 기사 편집 과정에서의 지나친 축약 등이다.

위의 첫 번째 기사는 그 말미에, 해당 기획 기사가 이른바 CAR (computer assisted reporting) 의 기법으로 작성된 것으로, "엑셀(Excel)과 스페이터(Spata) (Stata 의 오기인듯) 등의 프로그램을 이용해" 분석한 것이라고 밝히고 있다. 이 기사는 역설적으로, 저널리즘에서 중요한 것은 무슨 컴퓨터 기법을 쓰고 무슨 프로그램을 동원하느냐가 아님을 잘 알려주고 있다.

---

이 글을 읽어주신 분들이 달아주신 글에 대한 답글입니다.

좀더 피가 되고 살이 되는 글을 보여드렸으면 좋았을텐데, 어쩌다 보니 이렇게 성질부리는 글로 여러분을 만나게 됐습니다. 항상 들러주시는 분들께 감사드리고, 또 오랜만에 (= 20년 만에, 혹은 30년 만에) 만나는 분들도 모두 반갑습니다.

언젠가 따로 말씀드릴 기회가 있겠지만, 언론에 시시콜콜 딴죽을 거는 글을 쓰면서 한 가지 걱정스럽게 생각하는 점이 있습니다. 잘못하면 우리 언론과 언론인 모두를 나쁜 넘들로 싸잡아 매도하는 것으로 비쳐지지나 않을까 하는 점입니다. 제가 언론 보도의 어떤 측면에 대해 따지며 밝히려 하는 것은, 제딴에는 분명히 잘못되어서 고쳐야 하는 일이라고 생각해서입니다. 하지만 이것이 대한민국의 언론과 기자 모두가 깡그리 없어져야 하는 나쁜 넘들이라는 것을 의미하는 것은 아닙니다. 오히려, 많은 언론인들이 독자와 시청자에게 정확한 보도를 전해주기 위해 지금 이 시간에도 불철주야 애쓰고 있다고 믿고 있습니다.

물론 우리 언론과 언론인이 지금처럼 독자의 신뢰를 잃고 비난을 받는 것은 그들이 그간 저지른 (그리고 지금도 죽어라 저지르고 있는) 잘못에서 비롯된 자업자득입니다. 언론이 제 자리에 제대로 서서 제게 맡겨진 일을 제대로 하기 위해서는 이러한 비판과 질타의 통과 의례를 반드시 거쳐야 한다고 생각합니다. 그러나 이 문제와는 별도로, 저는 아직도 올곧고 부지런하며 사명감에 충실한 언론인들이 많이 있다고 믿습니다. 또 실수나 잘못이 시스템에서 비롯되는 경우도 있다고 봅니다. 언론 일반, 기자 일반을 싸잡아 매도할 수 없는 이유입니다. 잡석과 옥돌을 잘 구별할 줄 아는 밝은 눈도 필요한 것 같습니다. 그냥 노파심에서 말씀드렸습니다.

아울러, 제 글에 단골로 인용되는 특정 신문에 대해서도 말씀드려야 할 것 같습니다. 예전에 이오덕 선생이 잘못 쓰이는 우리말에 대한 책을 냈을 때, 그는 잘못된 사례를 한 특정 신문에서만 집중적으로 찾아내 책에 실은 것에 대해 해명한 적이 있습니다. 그것은 그 신문이 유달리 한글을 개판으로 써서가 아니라, 선생이 그 신문만을 즐겨 보았기 때문이었습니다.

제 경우도 마찬가지입니다. 저는 특별한 이유가 없는 한 신문 사이트나 포털 뉴스 사이트를 잘 가지 않습니다. 그날그날의 소식은 한 신문이 보내주는 뉴스 메일로 대강 해결합니다. 제 글에 자주 인용되는 특정 신문이 바로 그 뉴스 메일을 보내주는 신문입니다. 이 신문이 유달리 개판이어서가 아니라 제가 정기적으로 접하는 매체이기 때문에 사례로 자주 인용됩니다. 따라서, 여기 자주 등장한다는 것만으로 그 특정 신문이 개판이라고 생각하시지 말기를 바랍니다. 그 신문이 개판일 수도 있지만, 그것은 여기 자주 등장하기 때문이 아니라는 말씀입니다. 이것도 나중에 기회 있을 때 자세히 말씀드리기로 하겠습니다.

관심 가져 주셔서 감사드립니다.