[STUDYING] 3. 데이터 분석의 출발점: 데이터 읽기와 기초통계

1. 분석의 첫 질문은 “무엇을 어떤 단위로 측정했는가”입니다

데이터 분석에서 열 하나는 단순한 숫자열이 아니라 관찰 대상의 속성을 특정 규칙으로 기록한 변수입니다. 따라서 분석을 시작할 때는 변수명을 보고 바로 평균이나 상관계수를 계산하지 않고, 다음 세 관점을 함께 확인합니다.

1. 측정 척도: 값 사이에 순서·동일 간격·절대 영점이 있는지 확인합니다.
2. 자료 형태: 집단 소속을 나타내는 범주형인지, 셀 수 있는 이산형인지, 연속적으로 측정한 연속형인지 확인합니다.
3. 분석 역할: 이번 질문에서 결과가 되는 종속변수, 설명에 쓰는 독립변수, 관계를 왜곡할 수 있어 함께 고려해야 하는 통제변수를 구분합니다.

예를 들어 “광고비 증가가 매출과 어떤 관계가 있는가”라는 질문에서는 광고비가 비율척도·연속형·독립변수이고, 매출액이 비율척도·연속형·종속변수입니다. 지역은 명목척도·범주형이지만 광고 집행 방식과 매출 수준 모두에 관련될 수 있으므로 통제변수가 될 수 있습니다. 반대로 “지역별 매출 차이를 설명하는가”로 질문을 바꾸면 지역은 설명변수로 역할이 바뀝니다. 독립변수와 종속변수는 값 자체의 고정된 신분이 아니라 분석 질문 안에서 맡는 역할입니다.

측정 척도에 따라 가능한 해석이 달라집니다

• 명목척도는 성별, 혈액형, 유입 채널, 지역처럼 구분만 가능한 값입니다. 1과 2로 코딩하더라도 2가 1보다 크다는 뜻이 아니므로 빈도, 비율, 최빈값을 사용합니다.
• 서열척도는 고객등급 A/B/C나 만족도 1~5점처럼 순서는 있으나 등급 간 간격이 같다고 보장되지 않는 값입니다. 중앙값, 분위수, 순위 기반 비교가 자연스럽습니다. 1점과 2점의 차이가 4점과 5점의 차이와 정확히 같다는 근거가 없다면 평균의 해석을 과장하지 않습니다.
• 구간척도는 섭씨온도나 IQ처럼 차이는 해석할 수 있으나 절대적 0이 없는 값입니다. 평균과 표준편차는 계산할 수 있지만 20°C가 10°C의 두 배라는 비율 해석은 할 수 없습니다.
• 비율척도는 시간, 거리, 키, 매출액처럼 절대적 0이 있어 차이와 비율 모두 의미가 있는 값입니다. 평균, 표준편차, 변화율, 비율 비교를 해석할 수 있습니다.

같은 숫자라도 의미가 다를 수 있습니다. 판매건수는 이산형 수치이고, 고객등급 코드 1·2·3은 보통 서열형 범주입니다. 숫자로 저장되었다는 사실만으로 연속형 분석을 적용하면 ‘계산은 되었지만 해석이 성립하지 않는’ 결과가 나올 수 있습니다.

질문에서 기법으로 가는 선택 절차입니다

• 범주형 집단에 따라 연속형 결과의 평균이 다른지 알고 싶으면 두 집단에서는 t검정, 세 집단 이상에서는 ANOVA를 우선 검토합니다.
• 연속형 변수 두 개가 함께 움직이는지 알고 싶으면 산점도와 상관·회귀분석을 검토합니다.
• 범주형 변수 두 개의 연관을 보고 싶으면 교차표와 카이제곱 검정을 검토합니다.
• 시계열이나 패널 자료라면 시간 순서·반복 측정으로 관측치가 서로 독립인지도 별도로 점검합니다.

기법의 이름이 질문을 대신하지 않습니다. 변수의 척도와 연구 설계가 먼저이고, 통계 기법은 그 뒤에 선택하는 도구입니다.

2. 기술통계는 중심값 하나가 아니라 분포 전체를 읽는 과정입니다

기술통계의 목적은 현재 가진 표본이 어떤 모양인지 압축해 보는 일입니다. 여기서 반드시 함께 보는 축은 중심, 퍼짐, 분포 형태, 이상치입니다. 평균 하나가 같은 두 집단도 변동성이나 꼬리의 길이가 다르면 운영 위험과 의사결정은 전혀 달라질 수 있습니다.

중심: 평균·중앙값·최빈값은 서로 대체재가 아닙니다

산술평균은 모든 값을 반영하므로 전체 규모를 나타내기에 좋지만 극단값에 민감합니다.

예를 들어 10, 12, 13, 15, 16의 평균은 13.2이고 중앙값은 13입니다. 마지막 값만 100으로 바꾸면 평균은 30으로 뛰지만 중앙값은 13으로 유지됩니다. 고소득 가구나 고액 거래처럼 오른쪽 꼬리가 긴 자료에서는 평균이 다수 관찰치의 전형적 수준을 과장할 수 있으므로 중앙값과 분위수를 함께 보고합니다. 가장 자주 나타나는 값인 최빈값은 상품 옵션, 유입 채널처럼 범주형 변수에도 사용할 수 있습니다.

 

시계열에서는 이동평균으로 단기 잡음을 완화해 추세를 볼 수 있습니다. 그러나 창이 너무 작으면 잡음이 남고, 너무 크면 변화 감지가 늦어집니다. 이동평균에는 항상 시간 지연이 생길 수 있고 이상치에도 영향을 받으므로, 원자료와 함께 제시해야 합니다.

퍼짐: 평균이 같아도 안정성은 다를 수 있습니다

범위는 최대값 - 최소값이지만 양 끝의 한 값에 민감합니다. 분산은 평균에서 얼마나 떨어져 있는지를 제곱해 평균낸 값이고, 표준편차는 그 제곱근이라 원래 단위로 읽기 쉽습니다.

예를 들어 A={48,49,50,51,52}와 B={20,35,50,65,80}의 평균은 모두 50이지만, A의 표본분산은 2이고 표준편차는 약 1.41이며 B의 표본분산은 450이고 표준편차는 약 21.21입니다. 평균만 보면 같아 보이지만 B가 훨씬 큰 변동성을 가집니다.

 

사분위수는 정렬한 자료의 위치를 보여 줍니다. Q1은 하위 25% 지점, Q2는 중앙값, Q3는 하위 75% 지점입니다. 사분위범위는 다음과 같으며 중앙 50%의 폭을 나타냅니다.

IQR은 극단값에 비교적 강건하므로 왜도가 크거나 이상치가 의심되는 금액·시간 자료에서 유용합니다. 박스플롯에서는 다음 경계 밖의 값을 이상치 후보로 표시합니다.

이 경계는 삭제 규칙이 아닙니다. 후보값을 발견하면 입력 단위 오류인지, 중복 기록인지, 실제 고액 고객인지, 다른 운영 조건의 별도 집단인지 확인합니다. 오류가 아니라면 삭제보다 별도 표시, 강건 요약치 병기, 포함·제외 민감도 비교가 더 정직한 대응입니다.

 

평균 수준이 매우 다른 집단의 상대적 변동을 비교할 때는 변이계수를 사용합니다.

평균 10·표준편차 2인 공정 A의 CV는 20%이고, 평균 100·표준편차 5인 공정 B의 CV는 5%입니다. 절대 표준편차는 B가 크지만 평균 대비 안정성은 B가 더 높습니다. 다만 평균이 0에 가깝거나 음수인 경우 CV는 불안정하므로 사용하지 않습니다.

분포 형태: 그래프가 수치를 검증합니다

히스토그램은 집중 구간, 퍼짐, 다봉성, 꼬리, 빈 구간을 보여 줍니다. 다만 구간 폭과 개수에 따라 모습이 달라지므로 하나의 bin 설정만 절대시하지 않습니다. 양의 왜도는 오른쪽 꼬리가 길어 큰 값이 드물게 나타나는 형태이고, 음의 왜도는 반대입니다. 첨도는 꼬리 두께와 극단값 가능성을 살피는 단서이며 높은 첨도만으로 품질 문제를 단정하지 않습니다.

 

분포가 대칭이고 단봉에 가깝더라도 정규분포라고 자동 가정하지 않습니다. 정규분포는 평균 μ, 표준편차 σ로 정해지는 확률모형이며 실제 자료가 이를 얼마나 따르는지 히스토그램·Q-Q plot·도메인 맥락으로 확인한 뒤 사용합니다.

3. 표본으로 전체를 말할 때는 불확실성과 대표성을 함께 기록합니다

모집단은 알고 싶은 전체이고, 표본은 실제로 관찰한 일부입니다. 모집단의 평균·비율처럼 고정되어 있으나 대체로 알 수 없는 값은 모수이고, 표본에서 계산한 평균·비율은 통계량입니다. 추론통계는 통계량으로 모수를 추정하는 과정입니다.

표본이 크다고 대표적인 것은 아닙니다. 1936년 미국 대선 사례에서 Literary Digest는 매우 큰 우편 표본을 사용했지만 전화번호부·자동차 등록부·구독자 중심의 표집이 상대적으로 부유한 계층에 치우쳐 실제 결과를 잘못 예측했습니다. 선택편향, 응답편향, 생존자편향은 표본 수를 늘려도 저절로 사라지지 않습니다. 따라서 모집단 정의, 표집틀, 제외 기준, 응답률, 시점, 하위집단 구성을 먼저 기록해야 합니다.

집단을 합치는 과정도 결론을 바꿀 수 있습니다. 전체에서는 A가 좋아 보이지만 전공·연령·위험도처럼 다른 변수를 나눈 각 집단에서는 B가 더 좋게 나타날 수 있는 현상을 심슨의 역설이라고 합니다. 전체 요약 전에 어느 집단을 합쳤는지와 교란변수를 확인해야 합니다.

표준화와 표준오차는 서로 다른 질문에 답합니다

z-score는 한 관측값의 상대적 위치를 바꿉니다.

수학 평균 75·표준편차 10, 영어 평균 70·표준편차 8인 상황에서 모두 80점이라도 상대 위치는 다릅니다. z-score는 서로 다른 척도나 분포의 상대적 위치를 비교하는 데 쓰이며, 원점수의 절대적 성취를 지우는 도구는 아닙니다.

 

표준편차가 한 표본 안 개별 값의 퍼짐이라면, 표준오차는 표본을 반복 추출할 때 표본평균 같은 통계량이 얼마나 흔들리는지를 나타냅니다.

표본을 4배로 늘리면 SE는 절반으로 줄어듭니다. 즉 표본 수를 늘리면 추정은 정밀해지지만 오차가 표본 수에 비례해 줄지는 않습니다. 대표성이 없는 표본을 크게 만드는 것은 SE를 작게 보이게 할 수 있어도 편향을 해결하지 못합니다.

대수의 법칙은 반복이 늘수록 표본평균이 모집단평균에 가까워지는 경향을 말하고, 중심극한정리는 조건이 충족되고 표본 크기가 충분할 때 표본평균의 분포가 정규분포에 가까워진다는 설명입니다. 원자료가 반드시 정규분포가 된다는 뜻이 아니며, 표본 간 독립성·편향 없는 설계가 여전히 중요합니다.

4. 가설검정은 “유의하다”를 선언하는 버튼이 아닙니다

가설검정은 관찰된 차이가 귀무가설 아래의 표본 변동으로도 나올 만한지 평가하는 절차입니다. 먼저 효과나 차이가 없다는 귀무가설 H0와 연구 질문에 맞는 대립가설 H1을 결과를 보기 전에 정합니다. 그 뒤 표본 통계량이 귀무가설의 기대값에서 표준오차 몇 배만큼 떨어졌는지 검정통계량으로 계산합니다.

 

p-value는 H0가 참이라고 가정할 때 현재 결과와 같거나 더 극단적인 결과가 나올 확률입니다. 따라서 p-value는 H0가 참일 확률도 아니고, 효과 크기도 아니며, 결과가 우연일 확률이라는 표현도 정확하지 않습니다. 사전에 정한 유의수준 α와 비교해 p≤α이면 H0를 기각하고, 그렇지 않으면 기각하지 못한다고 표현합니다. 기각하지 못함은 효과가 없음을 증명하는 말이 아닙니다.

 

통상 양측검정은 방향을 정하지 않은 차이를 보고, 단측검정은 강한 사전 이론과 방향 가설이 있을 때 사용합니다. 결과를 본 뒤 단측으로 바꾸거나, 여러 분석 가운데 작은 p-value만 고르는 것은 p-hacking입니다. 표본이 작고 모집단 표준편차를 모를 때는 꼬리가 더 두꺼운 t분포를 사용해 불확실성을 더 보수적으로 반영합니다.

 

분석 보고에는 p-value만 남기지 않고 효과의 방향·크기, 95% 신뢰구간, 표본 설계, 데이터 품질, 실무상 의미를 함께 적습니다. 통계적 유의성은 표본이 매우 크면 작은 효과도 만들 수 있고, 실무적 중요성은 별도의 의사결정 기준으로 판단해야 합니다.