여론조사 방법 : 전화면접 조사와 ARS 조사의 차이와 장단점
여론조사는 조사 방식에 따라 결과가 크게 달라질 수 있습니다.
많은 사람들이 이야기하는 샤이 보수, 샤이 진보, 샤이 윤석열, 샤이 이재명 등 여론조사에 잘 드러나지 않는 지지층이 조사 방법에 따라 일정수준 이상의 의견을 표명하면서 조사방식에 따라 지지 순위가 뒤바뀌는 경우도 많았습니다.
여론조사 방식에는 대면조사, 전화 면접, ARS, 인터넷 조사, 스마트폰 앱 조사, 우편 조사 등이 있는데, 오늘은 최근들어 가장 많이 사용되는 전화를 이용한 조사방법에 대해 간략히 알아보고, 그 중 대표적인 방식인 전화면접 조사와 ARS 조사의 차이와 장단점에 대해 정리해 보았습니다.
I. 전화조사 방식의 분류
설문자와의 대면을 통한 면접 조사(Personal Interview, PI) 방식 외에 전화를 통해 면접원이 질문을 하고 응답자가 답을 하는 방식으로 진행되는 방식을 전화조사 방식이라고 합니다.
이 전화 조사 방식을 영어로는 Telephone Interview, TI방식이라고 하는데 이 역시 몇 가지 기준으로 분류할 수 있습니다.
1. 전화 유형에 따른 전화 조사 방식
1) 유선전화
유선 전화번호로 전화를 걸어 여론을 수집하는 방식입니다.
유선전화는 가구 Base 이므로 전화를 건 다음 대상자를 찾는 과정이 필요합니다. 과거에는 지역번호를 기반으로 한 분류가 가능하였으므로, 지역 기반 조사에서 많이 활용되었으나 현재는 070 인터넷전화 등 국번과 지역의 관련성이 없는 경우가 존재하므로 과거의 활용도가 적용되지 못합니다.
2) 무선전화
무선전화 즉, 휴대전화는 개인 Base 이므로 통화 연결 후 바로 조사가 가능하다는 장점이 있습니다. 그러나 무선전화 역시 전화번호와 지역은 관련성이 없으므로 지역 기반 조사에서는 활용하기가 힘듭니다.
2. 표집틀에 따른 전화 조사 방식
1) 전화번호부
예전에는 전화번호부 DB를 기반으로 대상을 추출하는 방식으로 조사를 실시하였습니다. 2010년 '개인정보보호법' 시행과 함께 더 이상 이용되지 않는 방식입니다.
2) RDD (Random Digit Dialing) 방식
'개인정보보호법' 시행 이후 가장 많이 사용되는 방식으로 '국번과 전화번호'의 조합을 생성하여 랜덤 하게 전화번호를 추출하여 대상을 선정하는 조사 방식입니다.
3. 표본추출 방법에 따른 전화 조사 방식
1) 확률 추출
랜덤 하게 추출된 전화번호로 전화를 한 후, 생일법을 통해 생일이 가장 가까운 사람을 대상자로 선정하는 방식입니다.
2) 할당 추출
인구비례 등 모집단(母集團)을 대표하는 표본 구성의 각 층의 표본량을 강제적으로 할당하는 방식으로 대다수의 여론조사가 이 방식으로 진행되고 있습니다.
4. 접촉 방법에 따른 전화 조사 방식
1) 전화면접 조사 (면접원 조사)
전화 면접원이 직접 응답자에게 질문하고 응답을 받는 방법 전화면접 조사의 경우 면접원의 역량이 매우 중요하며, 응답자로 하여금 면접자의 태도, 말투 등이 답변에 영향을 주어서는 안 되기 때문에 면접원에 대한 적절한 훈련과 교육이 필수적입니다.
2) ARS 조사
전화 면접원 대신 컴퓨터 자동응답 장치 (ARS, Automatic Response System)을 이용하는 방식입니다.
조사비용이 저렴하지만 전화면접조사 대비 응답률이 매우 낮아 면접원 조사에 비해 조사결과의 신뢰도가 많이 떨어지는 것으로 알려져 있습니다. 따라서 주요 리서치 회사들이 가입되어 있는 한국조사협회(KORA) 회원사의 경우 ARS 조사를 수행하지 않고 있습니다.
전화조사 방식은 위의 네 가지 기준에 따라 전화 유형·대상 DB·표본추출 방식을 선정하고, 최종적으로 전화면접 조사와 ARS 조사 방식 중 적합한 것을 선택하여 이루어지는 것입니다.
그럼 접촉 방법에 따른 두 가지 방법인 전화면접 조사와 ARS 조사에 대해 좀 더 자세히 알아보겠습니다.
II. ARS 조사 (자동응답 조사)
1. 정의
ARS 조사는 미리 질의 내용을 녹음한 음성을 활용하여 조사대상자에게 들려주어 의견을 수집하는 방법입니다.
자동응답 시스템(Automatic Response System)을 활용하여 녹음된 질문을 듣고 미리 정의된 복수의 답변 중 자신의 의견과 부합되는 답변을 선택하여 전화기의 버튼을 눌러 답변하는 방식으로 진행됩니다.
ARS 방식은 응답률이 2~3% 수준으로, 응답률이 낮아 '무응답 오차'가 비교적 큰 편이라고 합니다. 여기서 '무응답 오차'란 무응답으로 인한 오차를 말하는데, 전화를 받는 사람이 조사에 거부하는 경우와 집에 없어서 전화를 받지 못하는 경우, 즉 부재인 경우로 나누어 볼 수 있습니다.
우리나라에서는 ARS 조사 또는 자동응답 조사라고 하지만 영어로는 로보콜(Robocall)이라고 합니다.
ARS 조사는 지역번호와 국번이 제외된 상태에서 무작위로 전화를 거는 방법인 유선RDD 방식과 가상번호를 이용한 무선ARS 방식으로 분류됩니다. 유선전화를 이용하는 경우 가정주부 또는 고 연령층의 응답자로 편중되는 경우가 많아 결과의 신뢰도 측면에서 약점이 있어 최근에는 무선ARS 방식을 주로 이용하고 있습니다.
가상번호를 이용하는 무선ARS 방식의 경우 가상번호를 받는데 드는 비용과 비싼 통신요금 등으로 조사 비용이 많이 듭니다. 또한 선관위로부터 가상번호를 받는데 10일 정도의 시간이 걸리기 때문에 전체 조사기간이 최소 12일에서 15일정도로 길어지는 단점이 있습니다. 따라서 일부 여론조사가 단기간에 반복적으로 시행되는 경우나, 비용적인 측면에서 유선전화를 포함하는 경우가 있는데 이런 경우는 조사의 신뢰도를 의심해보는 것이 맞을 것 같습니다.
2. 장점
ARS 방식은 조사결과에 대한 신뢰도가 낮아 '한국조사협회'에서는 수행하지 않는 방식입니다. 그러나 ARS 방식도 꽤나 많은 장점을 가지고 있습니다.
- 특정 이슈에 대한 관심도가 높은 계층을 중점적으로 조사할 수 있습니다.
- 사람과 직접 상대하지 않고 버튼을 눌러 답변을 선택하므로 비밀이 보장되어 응답자가 속마음을 쉽게 표시하게 됩니다.
- 질문의 문항, 성별, 뉘앙스, 발음, 어투 등 모든 요소를 전체 응답자에게 완벽하게 동일하게 적용할 수 있습니다.
- 조사 비용과 시간이 상대적으로 적게 소요됩니다.
3. 단점
- 응답자의 거짓 응답을 검증할 방법이 없기 때문에 비표본 오차가 발생할 수 있습니다.
- 이슈의 관심도가 낮은 계층이나 보편적인 모집단에 대한 조사가 어렵습니다.
- 전화면접 조사에 비해 중도 탈락 비율이 높습니다.
- 길고 복잡한 문항에 대한 조사가 불가능하며, 소수 항목 위주로 조사할 수밖에 없습니다.
- 정치 저관여층보다는 고관여층 여론을 과잉 대표할 수 있습니다.
III. 전화면접 조사
1. 정의
전화면접 조사는 조사원이 직접 전화를 걸어 전화를 받는 사람과 직접 통화를 통해 설문조사를 진행하는 방식입니다.
보통의 전화 통화와 같이 질문자가 정해진 질문 순수에 따라 차례대로 질문을 하고 응답자는 질문에 대한 응답을 하는 형태로 진행되며, 가장 기본적인 전화 여론조사의 방법론이라 할 수 있습니다.
영어로는 실황면접 (Live Interview) 이라고 합니다.
전화면접 조사의 경우 응답률은 10~15% 수준으로 ARS 방식에 비해 상대적으로 높은 편이기는 하지만 대면 조사 방식과 같은 다른 방식에 비해서는 현저하게 낮은 편이기도 합니다.
2. 장점
전화면접 조사는 면접원의 역량에 따라 응답자의 답변 완료 비율과 충실도가 크게 좌우될 수 있습니다.
면접원이 일정 수준의 교육을 통하여 충분히 응답자의 답변을 이끌어 낼 수 있다는 저ㄴ제하에 아래와 같은 장점이 있습니다.
- 보편적이고 일반적인 인식에 대한 조사가 가능합니다.
- 특정 이슈의 관심도가 낮은 계층이나 무관심층에게도 얼마든지 조사가 가능합니다.
- 조사원과 직접 통화를 하는 상태이므로 인터뷰를 쉽게 거절하지 않게 되어 상대적으로 응답률이 높게 나옵니다.
- 조사의 중도 탈락률이 ARS 조사방식에 비해 낮은 편입니다.
- 상대적으로 길고 복잡한 문항에 대한 조사도 얼마든지 가능합니다.
3. 단점
- 조사원의 성별, 질문의 뉘앙스, 어투, 발음의 정확성 등을 완벽히 통제할 수 없으므로 이것이 응답자의 편향으로 이어질 수 있습니다.
- 사람이 직접 물어보기 때문에 응답자가 자신의 속마음을 쉽게 숨길 수 있습니다.
- 애매한 응답에 대한 분류가 쉽지 않습니다.
- 무관심이나 저관심 계층에 의미를 부여하기 쉽지 않습니다.
- 조사의 비용이나 시간이 많이 소요됩니다.
IV. 여론조사 방법 비교 : ARS조사 vs 전화면접 조사
여론조사 방식별 특징을 표로 정리한 것입니다.
| 구분 | ARS 조사 | 전화면접 조사 |
| 조사방식 | 녹음된 질문을 듣고 제시된 답변의 번호를 눌러 선택하는 방식 | 조사원의 질문에 직접 답변하는 방식 |
| 응답률 | 응답률이 낮은 편 | 응답률이 높은 편 |
| 응답자 | 정치 고관여층 참여가 높은 편 | 응답자 중 정치 저관여층 많은 편 |
| 신뢰도 | 상대적으로 솔직한 답변을 하는 편 | 응답자가 속마음 밝히기 꺼리기도 |
| 비용 | 전화면접 방식 대비 1/3 정도로 추정 | 1천명 기준 천만원에서 천7백만원 소요됨. |
| 편향성 | 보수 정당이나 후보의 지지율이 높은 편 | 진보 정당이나 후보의 지지율이 높은 편 |
위의 표에서 편향성 부분은 2022년 대선을 앞에 두고 있었던 여론조사 결과를 기준으로 기재한 것입니다.
당시 전화면접 조사방식의 NBS조사에서는 이재명 후보가, ARS 조사방식의 리얼미터에서는 윤석열 후보가 꾸준히 높은 지지율을 얻은 것으로 발표되었습니다.
정확도 논쟁과 함께 조사방식에 따른 이념편향성 역시 몇 번의 선거로 규정할 수는 없는 것입니다. 현재 보수세력의 집권 하에서 또 다른 양식을 보여주는 것 또한 사실입니다.