설문 논문 분석 체크리스트: 표본·척도·타당도·통계 7단계

횡단·종단, 실험·준실험·상관 연구인지 먼저 분류합니다. 한 시점에 모든 변수를 측정한 횡단 설문은 변수 간 관계를 보여줄 수 있지만 시간적 선후와 인과를 직접 입증하기 어렵습니다.

표본 수가 크다는 사실만으로 대표성이 확보되지 않습니다. 누구를 어떤 경로로 모집했고, 배포·회수·제외를 거쳐 최종 N이 어떻게 만들어졌는지 확인합니다.

각 구인별로 원척도 저자와 연도, 문항 수, 응답 척도, 수정·번안 여부를 기록합니다. 일부 문항을 삭제하거나 표현을 바꿨다면 타당도 검증이 다시 필요한지 봅니다.

Cronbach's α 하나만 보고 측정 품질을 확정하지 않습니다. 문항 수가 많으면 α가 높아질 수 있으며, 가능하면 ω나 CR 같은 보완 지표와 요인 구조를 함께 봅니다.

요인적재량, AVE, CR과 CFA 모형적합도를 확인하고 서로 다른 구인이 실제로 구별되는지 평가합니다. 타당도 수치가 미보고라면 AI가 추정하지 않고 미보고로 남겨야 합니다.

각 가설마다 B 또는 β, 표준오차, t·F, p값, 신뢰구간과 효과크기를 한 표에 정리합니다. 매개효과는 간접효과의 bootstrap 신뢰구간, 조절효과는 상호작용항과 단순기울기를 확인합니다.

저자가 쓴 한계만 옮기지 말고 설계에서 생기는 추가 위험을 확인합니다. 동일방법편의, 검정력, 측정동일성, 결측치와 표본 이탈, 횡단자료의 인과 주장 과잉이 대표적입니다.