딥러닝을 위한 통계

 

확률 개요

1. 서론

확률은 불확실성을 수량화하고 분석하는 데 사용되는 기본적인 개념으로, 통계학, 금융, 공학, 의학 연구 등 다양한 분야에서 핵심적인 역할을 수행합니다. 확률 이론은 데이터를 이해하고, 정보에 입각한 의사 결정을 내리며, 무작위 현상을 모델링하는 데 필수적인 토대를 제공합니다. 본 보고서는 확률 변수, 확률 분포, 데이터 추출 방법, 결합 확률, 조건부 확률, 기댓값, 평균과 분산, 공분산, 상관계수, 최대 가능도 추정, 편향, 점근선, 평균 제곱 오차 등 확률 이론의 주요 개념들을 포괄적으로 다룹니다. 이러한 개념들을 통해 독자는 확률적 사고의 기초를 다지고, 다양한 실생활 문제에 확률 이론을 적용할 수 있는 능력을 함양할 수 있을 것입니다. 확률 이론은 단순히 수학적 추상에 그치지 않고, 불확실한 사건의 결과를 측정하고 분석하기 위한 기본적인 도구로서, 금융 시장의 위험 관리, 보험 산업의 손실액 예측, 공학 분야의 부품 수명 분석 등에 활용됩니다 . 따라서 확률에 대한 깊이 있는 이해는 현대 사회의 다양한 문제를 해결하는 데 필수적입니다.  

 

2. 확률 변수

2.1 확률 변수의 정의

확률 변수(Random Variable)는 실험이나 관측으로 나타나는 결과에 수치를 할당할 수 있는 변수를 의미합니다 . 좀 더 수학적으로 정의하면, 확률 변수 X는 표본 공간의 모든 가능한 결과에 대해 실수 값을 가지는 함수입니다 . 이는 확률 실험의 각 결과에 실수를 대응시키는 과정으로, 확률 변수의 값은 오직 우연에 의해서만 결정됩니다 . 예를 들어, 동전을 두 번 던지는 실험에서 앞면(H)이 나오는 횟수를 확률 변수 X라고 정의할 수 있습니다. 이때 표본 공간은 {HH, HT, TH, TT}이며, 각 결과에 따른 확률 변수 X의 값은 각각 2, 1, 1, 0이 됩니다 . 이처럼 확률 변수를 통해 우리는 불확실한 사건의 결과를 수치적으로 표현하고 분석할 수 있게 됩니다. 확률 변수를 정의하는 핵심적인 이유는 무작위 실험의 결과를 우리가 알고 있는 숫자로 변환하여 수학적, 통계적 분석을 용이하게 하기 위함입니다 .  

 

2.2 확률 변수의 종류

확률 변수는 가질 수 있는 값의 특성에 따라 크게 이산 확률 변수(Discrete Random Variable)와 연속 확률 변수(Continuous Random Variable)로 나눌 수 있습니다 .  

 

2.2.1 이산 확률 변수

이산 확률 변수는 셀 수 있는 값(유한하거나 셀 수 있는 무한 개)만을 가질 수 있는 확률 변수입니다 . 예를 들어, 주사위를 던져 나오는 눈의 수(1, 2, 3, 4, 5, 6), 동전 던지기에서 앞면이 나오는 횟수, 특정 시간 동안 발생하는 사건의 횟수 등이 이산 확률 변수에 해당합니다 . 이산 확률 변수는 각 값이 발생할 확률을 명확하게 정의할 수 있으며, 이러한 확률 분포는 주로 확률 질량 함수(Probability Mass Function, PMF)를 사용하여 나타냅니다 . 직원 100명 중 결근하는 직원의 수, 가정의 자녀 중 딸인 자녀의 수 등도 이산 확률 변수의 예시입니다 . 이산 확률 변수는 마치 별개의, 분리된 값을 가지는 변수와 같습니다 .  

 

2.2.2 연속 확률 변수

연속 확률 변수는 특정 구간 내의 모든 실수 값을 가질 수 있는 확률 변수입니다 . 예를 들어, 사람의 키, 몸무게, 온도, 시간, 제품의 수명 등은 연속적인 값을 가질 수 있으므로 연속 확률 변수에 해당합니다 . 연속 확률 변수는 특정 값 하나에 대한 확률을 정의하는 것이 아니라, 특정 구간 내에 속할 확률을 정의하며, 이는 확률 밀도 함수(Probability Density Function, PDF)를 통해 나타냅니다 . 중학교 1학년 학생의 평균 키나 공장에서 생산되는 부품의 무게 등이 연속 확률 변수의 대표적인 예시입니다 . 연속 확률 변수는 셀 수 없이 많은 값을 가질 수 있다는 점에서 이산 확률 변수와 뚜렷한 차이를 보입니다 .  

 

2.3 확률 변수 정의 시 주의사항

확률 변수를 정확하게 정의하기 위해서는 몇 가지 중요한 사항을 고려해야 합니다 . 첫째, 실험이나 관측의 가능한 모든 결과로 이루어진 결과 공간(표본 공간)이 명확하게 정의되어야 합니다. 둘째, 이 결과 공간의 각 결과에 대해 유일한 실수 값을 할당해야 합니다. 셋째, 확률 변수의 유형(이산 또는 연속)에 따라 적절한 확률 분포를 선택하고 사용해야 합니다. 이러한 주의사항을 지킴으로써 확률 변수를 통해 불확실성을 체계적으로 분석하고 모델링할 수 있습니다.  

 

3. 확률 분포

3.1 확률 분포의 정의

확률 분포(Probability Distribution)는 확률 변수가 특정한 값을 가질 확률을 나타내는 함수를 의미합니다 . 이는 확률 변수의 모든 가능한 값과 그에 대응하는 확률들이 어떻게 분포하고 있는지를 설명해 줍니다 . 확률 분포는 확률 변수의 종류에 따라 이산 확률 분포와 연속 확률 분포로 나뉩니다 . 쉽게 말해, 확률 변수가 셀 수 있는지 없는지에 따라 구분된다고 생각할 수 있습니다 . 확률 분포를 알면 특정 사건이 일어날 확률을 계산하거나 예측할 수 있습니다 . 확률 분포는 통계적 사고의 핵심이며, 공학, 의학, 사회과학, 경영학 등 다양한 연구 분야에서 널리 활용됩니다 .  

 

3.2 이산 확률 분포와 확률 질량 함수

이산 확률 변수의 확률 분포는 확률 질량 함수(Probability Mass Function, PMF)로 나타냅니다 . 확률 질량 함수는 이산 확률 변수가 특정 값을 가질 확률을 의미합니다 . 예를 들어, 공정한 주사위를 던졌을 때 각 눈금이 나올 확률은 1/6이며, 이를 확률 질량 함수로 표현할 수 있습니다 . 이산 확률 분포의 예로는 베르누이 분포, 이항 분포, 포아송 분포, 기하 분포 등이 있습니다 . 이산 확률 분포에서는 특정 값에 대한 확률을 직접적으로 확인할 수 있으며, 모든 가능한 값에 대한 확률의 합은 항상 1입니다 .  

 

3.3 연속 확률 분포와 확률 밀도 함수

연속 확률 변수의 확률 분포는 확률 밀도 함수(Probability Density Function, PDF)로 나타냅니다 . 확률 밀도 함수는 연속 확률 변수가 특정 값을 가질 확률이 아니라, 특정 구간 내에 포함될 확률을 나타냅니다 . 특정 값에서의 확률은 0으로 간주되며, 확률은 해당 구간의 확률 밀도 함수를 적분하여 계산합니다 . 연속 확률 분포의 예로는 균일 분포, 정규 분포, 지수 분포, 감마 분포 등이 있습니다 . 확률 밀도 함수는 항상 0보다 크거나 같으며, 전체 구간에 대한 적분 값은 1입니다 .  

 

3.4 누적 분포 함수

누적 분포 함수(Cumulative Distribution Function, CDF)는 확률 변수 X가 특정 값 x보다 작거나 같을 확률을 나타내는 함수입니다 . 즉, F(x) = P(X ≤ x)로 정의됩니다 . 누적 분포 함수는 이산 확률 변수와 연속 확률 변수 모두에 대해 정의될 수 있으며, 확률 분포를 완전히 기술하는 데 유용합니다 . 누적 분포 함수는 비감소 함수이며, x가 -∞로 갈 때 0에 수렴하고, +∞로 갈 때 1에 수렴하는 특징을 가집니다 .  

 

3.5 주요 확률 분포 예시

구분	확률 분포	설명	예시
이산 확률 분포	베르누이 분포	결과가 두 가지(성공/실패)인 시행	동전 던지기 (앞면/뒷면)
	이항 분포	고정된 횟수의 독립적인 베르누이 시행에서 성공 횟수	10번 동전 던지기에서 앞면이 나오는 횟수
	포아송 분포	특정 시간/공간에서 발생하는 사건의 횟수	한 시간 동안 콜센터에 걸려오는 전화 횟수
	기하 분포	첫 번째 성공이 있을 때까지의 시행 횟수	야구 선수가 첫 안타를 칠 때까지 타석에 들어선 횟수
	초기하 분포	비복원 추출에서 특정 속성을 가진 항목의 수	카드 덱에서 특정 무늬의 카드를 뽑는 횟수
	이산 균등 분포	모든 가능한 값이 동일한 확률을 가짐	공정한 주사위 던지기 결과
연속 확률 분포	균일 분포	특정 구간 내에서 모든 값이 동일한 확률 밀도를 가짐	0과 1 사이의 난수 발생
	정규 분포	평균을 중심으로 좌우 대칭인 종 모양 분포	사람들의 키, 몸무게
	지수 분포	단위 시간당 발생하는 사건 간의 시간 간격	전자기기 수명
	감마 분포	수명 분석, 대기 시간 모델링 등에 사용
	카이제곱 분포	분산 검정, 독립성 검정 등에 사용
	t-분포	표본 크기가 작을 때 평균 검정에 사용
	베타 분포	확률 또는 비율 모델링에 사용

 

4. 데이터 추출(Sampling)

4.1 샘플링의 중요성

샘플링(Sampling)은 전체 모집단에서 일부 표본(Sample)을 선택하여 모집단의 특성을 추정하는 통계적 방법입니다 . 모집단 전체를 조사하는 것은 비용과 시간 측면에서 비효율적이거나 불가능한 경우가 많기 때문에 샘플링은 실용적인 대안이 됩니다 . 잘 설계된 샘플은 모집단을 대표하는 특성을 가지므로, 표본에서 얻은 정보를 바탕으로 모집단 전체에 대한 신뢰성 있는 추론을 할 수 있습니다 . 특히, 확률적 샘플링 방법을 사용하면 표본이 모집단을 대표할 가능성을 높이고, 통계적 추론의 타당성을 확보할 수 있습니다 .  

 

4.2 확률 표본 추출 방법

확률 표본 추출(Probability Sampling)은 모집단의 모든 구성원이 표본으로 선택될 확률이 알려져 있고 0이 아닌 방법입니다 . 무작위 추출(Random Sampling)이라고도 하며, 의도적인 선택이 아닌 무작위화를 통해 표본을 추출합니다 . 이러한 방법을 통해 얻은 표본은 모집단을 대표할 가능성이 높아, 모집단 전체에 대한 통계적 추론을 강력하게 뒷받침합니다 .  

 

4.2.1 단순 무작위 추출

단순 무작위 추출(Simple Random Sampling)은 모집단의 각 구성원이 표본으로 선택될 확률이 동일한 방법입니다 . 이는 마치 모자에서 이름을 뽑는 것과 유사하며, 모집단의 각 항목에 번호를 부여하고 난수 생성기를 이용하여 무작위로 번호를 선택하는 방식으로 수행할 수 있습니다 .  

 

4.2.2 체계적 추출

체계적 추출(Systematic Sampling)은 모집단의 목록에서 일정한 간격(예: n번째)으로 표본을 선택하는 방법입니다 . 첫 번째 표본은 무작위로 선택하며, 그 이후에는 미리 정해진 간격으로 표본을 추출합니다 . 목록에 특정 패턴이 없는 경우 단순 무작위 추출과 유사한 효과를 낼 수 있습니다 .  

 

4.2.3 층화 추출

층화 추출(Stratified Sampling)은 모집단을 특정 기준(예: 성별, 연령, 소득)에 따라 여러 개의 하위 집단(층)으로 나누고, 각 층에서 무작위로 표본을 추출하는 방법입니다 . 이를 통해 각 하위 집단이 표본에 적절히 대표되도록 보장할 수 있어, 모집단의 다양한 특성을 정확하게 반영하는 표본을 얻을 수 있습니다 .  

 

4.2.4 군집 추출

군집 추출(Cluster Sampling)은 모집단을 서로 유사한 여러 개의 집단(군집)으로 나누고, 이 중에서 일부 군집을 무작위로 선택한 후 선택된 군집 내의 모든 구성원 또는 일부를 표본으로 추출하는 방법입니다 . 이는 지리적으로 넓게 분포된 모집단에 대해 비용 효율적이고 실용적인 방법입니다 .  

 

4.2.5 다단계 추출

다단계 추출(Multistage Sampling)은 여러 단계의 확률 표본 추출 방법을 결합하여 표본을 추출하는 방법입니다 . 예를 들어, 1단계에서 군집 추출을 사용하여 군집을 선택하고, 2단계에서 선택된 군집 내에서 단순 무작위 추출을 사용하여 최종 표본을 추출할 수 있습니다 .  

 

4.2.6 크기에 비례한 확률 추출

크기에 비례한 확률 추출(Probability-Proportional-to-Size Sampling)은 각 추출 단위가 선택될 확률이 그 크기에 비례하도록 하는 방법입니다 . 이는 군집의 크기가 다를 때 유용합니다.  

 

4.3 비확률 표본 추출 방법

비확률 표본 추출(Non-Probability Sampling)은 모집단의 각 구성원이 표본으로 선택될 확률이 알려져 있지 않거나 무작위 선택이 아닌 연구자의 주관적인 판단에 따라 표본을 선택하는 방법입니다 . 이러한 방법은 시간과 비용을 절약할 수 있지만, 표본이 모집단을 대표하지 못할 가능성이 있어 통계적 추론의 일반화에 제약이 있을 수 있습니다 .  

 

4.3.1 편의 추출

편의 추출(Convenience Sampling)은 연구자가 접근하기 쉬운 대상을 표본으로 선택하는 방법입니다 . 예를 들어, 길거리에서 만나는 사람들을 대상으로 설문 조사를 하는 경우가 이에 해당합니다.  

 

4.3.2 할당 추출

할당 추출(Quota Sampling)은 모집단의 특정 특성(예: 성별, 연령)에 따라 표본의 비율을 미리 정하고, 이 비율에 맞춰 편의 추출 등의 방법을 사용하여 표본을 구성하는 방법입니다 .  

 

4.3.3 목적 추출

목적 추출(Purposive Sampling)은 연구 목적에 따라 특정 기준을 만족하는 대상을 표본으로 의도적으로 선택하는 방법입니다 .  

 

4.3.4 눈덩이 추출

눈덩이 추출(Snowball Sampling)은 초기 표본 대상자에게 연결되어 있는 다른 대상자들을 소개받아 표본을 확대해 나가는 방법입니다 . 이는 연구 대상자를 찾기 어려운 경우에 유용합니다.  

 

4.3.5 자발적 응답 추출

자발적 응답 추출(Voluntary Response Sampling)은 설문 조사 등에 자발적으로 참여하는 사람들을 표본으로 사용하는 방법입니다 .  

 

4.4 데이터 추출 기법 (샘플링 외)

데이터 추출은 다양한 데이터 소스에서 필요한 정보를 검색하고 획득하는 과정을 의미하며, 샘플링은 이러한 데이터 추출 과정의 한 부분입니다. 데이터는 데이터베이스, 웹사이트, 문서 등 다양한 형태로 존재하며, 각 형태에 맞는 추출 기법이 필요합니다 . 정형 데이터베이스의 경우 SQL(Structured Query Language)을 사용하여 특정 조건을 만족하는 데이터를 추출할 수 있으며 , API(Application Programming Interface)를 통해 시스템 간에 데이터를 교환하고 추출할 수도 있습니다 . 비정형 데이터, 예를 들어 PDF 파일에서 데이터를 추출하기 위해서는 텍스트 분석, OCR(Optical Character Recognition), 또는 AI 기반의 데이터 추출 도구 등을 활용할 수 있습니다 . ETL(Extract, Transform, Load) 프로세스는 다양한 소스에서 데이터를 추출하고, 필요한 형태로 변환하여 데이터 웨어하우스 등에 저장하는 일련의 과정을 의미합니다 . 최근에는 AI 기술을 활용하여 PDF 문서에서 표나 텍스트 형태의 데이터를 효율적으로 추출하고 원하는 형식(Excel, CSV, JSON 등)으로 변환하는 도구들이 개발되어 활용되고 있습니다 .  

 

5. 결합 확률

결합 확률은 두 개 이상의 사건이 동시에 발생할 확률을 의미합니다. 예를 들어, 사건 A와 사건 B가 동시에 발생할 확률은 P(A and B) 또는 P(A ∩ B)로 표기합니다. 결합 확률은 벤 다이어그램에서 두 사건의 교집합 영역에 해당합니다. 만약 두 사건 A와 B가 서로 독립이라면, 결합 확률은 각 사건의 확률의 곱으로 계산됩니다: P(A and B) = P(A) * P(B). 그러나 두 사건이 종속적이라면, 한 사건의 발생이 다른 사건의 확률에 영향을 미치므로, 결합 확률은 조건부 확률을 이용하여 계산됩니다: P(A and B) = P(A) * P(B|A) 또는 P(A and B) = P(B) * P(A|B). 결합 확률은 여러 변수 간의 관계를 분석하고 이해하는 데 중요한 개념입니다.

6. 조건부 확률

조건부 확률은 어떤 사건 B가 일어났다는 조건 하에서 다른 사건 A가 일어날 확률을 의미하며, P(A|B)로 표기합니다. 조건부 확률은 다음과 같은 공식으로 계산됩니다: P(A|B) = P(A and B) / P(B), 여기서 P(B) > 0이어야 합니다. 조건부 확률은 주어진 정보나 조건이 사건의 발생 가능성에 어떻게 영향을 미치는지를 파악하는 데 매우 유용합니다. 예를 들어, 어떤 질병에 대한 검사 결과가 양성으로 나왔을 때, 실제로 그 질병에 걸렸을 확률을 계산하는 데 조건부 확률이 사용될 수 있습니다. 베이즈 정리(Bayes' Theorem)는 조건부 확률을 계산하는 데 중요한 역할을 하며, 새로운 증거를 기반으로 기존의 믿음이나 확률을 업데이트하는 데 널리 활용됩니다. 베이즈 정리는 다음과 같이 표현됩니다: P(A∣B) = P(B∣A) * P(A) / P(B)​ . 여기서 P(A)는 사전 확률, P(B|A)는 가능도, P(B)는 증거, 그리고 P(A|B)는 사후 확률을 나타냅니다.

7. 기댓값(Expectation)

기댓값(Expected Value)은 확률 변수의 가능한 값들에 그 확률을 가중 평균한 값으로, 확률 변수의 중심 경향을 나타내는 측도입니다. 이산 확률 변수 X의 기댓값 E[X]는 다음과 같이 계산됩니다: E[X] = Σ [x * P(x)], 여기서 P(x)는 X가 값 x를 가질 확률입니다 . 연속 확률 변수 X의 기댓값 E[X]는 다음과 같이 계산됩니다: E[X] = ∫ [-∞ to ∞] [x * f(x)] dx, 여기서 f(x)는 X의 확률 밀도 함수입니다. 기댓값은 실험이나 시행을 무수히 많이 반복했을 때 얻을 수 있는 평균적인 결과로 해석할 수 있습니다. 예를 들어, 주사위를 던졌을 때 나올 눈의 수의 기댓값은 (1 + 2 + 3 + 4 + 5 + 6) / 6 = 3.5입니다. 기댓값은 의사 결정 과정에서 중요한 역할을 하며, 특히 불확실한 상황에서의 잠재적 결과를 평가하는 데 유용합니다.  

 

8. 평균과 분산

8.1 평균

평균은 데이터의 중심 경향을 나타내는 가장 기본적인 측도 중 하나로, 확률 변수의 경우 기댓값과 동일한 의미를 가집니다. 즉, 평균은 확률 변수가 가질 수 있는 값들을 확률에 따라 가중 평균한 값으로, 데이터가 어떤 값 주변에 집중되어 있는지를 보여줍니다.

8.2 분산

분산은 확률 분포의 퍼짐 정도를 나타내는 측도로, 각 값들이 평균으로부터 얼마나 떨어져 있는지를 제곱하여 평균한 값입니다. 이산 확률 변수 X의 분산 Var(X)는 다음과 같이 계산됩니다: Var(X) = E[(X - E[X])²] = Σ [(x - μ)² * P(x)], 여기서 μ는 X의 평균입니다 . 연속 확률 변수 X의 분산 Var(X)는 다음과 같이 계산됩니다: Var(X) = E[(X - E[X])²] = ∫ [-∞ to ∞] [(x - μ)² * f(x)] dx. 분산의 제곱근은 표준 편차라고 하며, 분산과 마찬가지로 데이터의 흩어진 정도를 나타내지만, 원래 데이터와 동일한 단위를 가지므로 해석이 더 용이합니다. 분산과 표준 편차는 확률 변수의 변동성을 측정하고, 위험을 평가하는 데 중요한 지표로 활용됩니다.  

 

9. 공분산(Covariance)

공분산은 두 확률 변수가 함께 변하는 정도를 나타내는 측도입니다. 두 확률 변수 X와 Y의 공분산 Cov(X, Y)는 다음과 같이 정의됩니다: Cov(X, Y) = E[(X - E[X]) * (Y - E[Y])]. 이산 확률 변수의 경우, Cov(X, Y) = ΣΣ로 계산되며, 연속 확률 변수의 경우, Cov(X, Y) = ∫∫ dx dy로 계산됩니다. 여기서 μₓ와 μ<0xE1><0xB5><0xB3>는 각각 X와 Y의 평균이고, P(x, y)와 f(x, y)는 각각 결합 확률 질량 함수와 결합 확률 밀도 함수입니다. 공분산 값이 양수이면 두 변수가 함께 증가하거나 감소하는 경향이 있고, 음수이면 한 변수가 증가할 때 다른 변수는 감소하는 경향이 있습니다. 그러나 공분산의 크기는 변수들의 척도에 의존하므로, 변수들의 관계 강도를 직접적으로 비교하기는 어렵습니다.

 

10. 상관계수(Correlation Coefficient)

상관계수는 두 확률 변수 간의 선형 관계의 강도와 방향을 나타내는 표준화된 측도입니다. 확률 변수 X와 Y의 상관계수 Corr(X, Y)는 공분산을 각 변수의 표준 편차의 곱으로 나눈 값으로 계산됩니다: Corr(X, Y) = Cov(X, Y) / (σₓ * σ<0xE1><0xB5><0xB3>). 상관계수는 -1에서 +1 사이의 값을 가지며, +1은 완벽한 양의 선형 관계, -1은 완벽한 음의 선형 관계, 0은 선형 관계가 없음을 나타냅니다 . 상관계수는 공분산과 달리 변수들의 척도에 영향을 받지 않으므로, 여러 변수 쌍 간의 관계 강도를 비교하는 데 유용합니다. 그러나 상관계수는 선형 관계만을 측정하며, 비선형적인 관계는 잘 나타내지 못할 수 있습니다. 또한, 상관관계가 있다고 해서 반드시 인과관계가 있는 것은 아닙니다.  

 

11. 최대 가능도 추정(Maximum Likelihood Estimation)

최대 가능도 추정(Maximum Likelihood Estimation, MLE)은 관측된 데이터로부터 확률 분포의 모수(parameter)를 추정하는 방법 중 하나입니다. MLE의 기본 원리는 주어진 데이터가 관측될 가능도(likelihood)를 최대화하는 모수 값을 찾는 것입니다. 이를 위해 가능도 함수를 정의하고, 이 함수를 최대화하는 모수 값을 찾습니다. 가능도 함수는 주어진 모수 값 하에서 관측된 데이터가 나올 확률로 정의됩니다. 실제 계산에서는 가능도 함수에 로그를 취한 로그 가능도 함수를 최적화하는 경우가 많으며, 이는 미분 가능한 함수의 최대값 또는 최소값을 찾는 표준적인 방법을 통해 이루어집니다. MLE는 통계학에서 널리 사용되는 추정 방법으로, 점근적 성질이 좋다는 장점이 있습니다.

12. 편향(Bias)

통계적 추정량의 편향(Bias)은 추정량의 기댓값과 실제 모수 값의 차이를 의미합니다. 추정량 θ̂의 편향은 Bias(θ̂) = E[θ̂] - θ로 정의됩니다. 여기서 θ는 실제 모수 값입니다. 편향이 0인 추정량을 불편향 추정량이라고 하며, 이는 추정량의 평균이 실제 모수 값과 일치한다는 의미입니다. 편향이 있는 추정량은 실제 모수 값을 체계적으로 과대 또는 과소 추정하는 경향이 있습니다 . 예를 들어, 표본 분산을 계산할 때 n 대신 n-1로 나누는 것은 불편향 추정량을 얻기 위한 보정(Bessel's correction)입니다. 편향은 추정량의 정확성을 평가하는 중요한 지표 중 하나입니다.  

 

13. 점근선(Asymptotes)

점근선은 함수의 그래프가 특정 값에 한없이 가까워지는 직선을 의미합니다. 확률 분포 함수나 확률 밀도 함수에서도 점근선의 개념이 나타날 수 있습니다 . 예를 들어, 정규 분포의 확률 밀도 함수는 x 값이 양의 무한대 또는 음의 무한대로 갈수록 y 값(확률 밀도)이 0에 한없이 가까워지는데, 이때 x축(y=0)이 수평 점근선이 됩니다 . 점근선은 함수의 극한 행동을 이해하는 데 도움을 주며, 특히 확률 분포의 꼬리 부분의 행동을 분석하는 데 유용합니다.  

 

14. 평균 제곱 오차(Mean Squared Error)

평균 제곱 오차(Mean Squared Error, MSE)는 추정량의 정확성을 종합적으로 평가하는 지표로, 추정값과 실제 값의 차이를 제곱하여 평균한 값입니다 . 추정량 θ̂에 대한 MSE는 MSE(θ̂) = E[(θ̂ - θ)²]로 정의됩니다. MSE는 추정량의 편향과 분산을 모두 포함하는 측도로, 다음과 같은 관계를 가집니다: MSE(θ̂) = Bias(θ̂)² + Var(θ̂). 따라서 MSE가 작은 추정량은 편향이 작고 분산도 작아, 전반적으로 더 좋은 추정량이라고 할 수 있습니다. MSE는 통계적 모델의 성능을 평가하거나 여러 추정량을 비교하는 데 널리 사용됩니다.  

 

15. 결론

본 보고서는 확률 이론의 기본적인 개념들을 개괄적으로 살펴보았습니다. 확률 변수와 확률 분포는 불확실한 현상을 수치적으로 모델링하고 그 가능성을 예측하는 데 필수적인 도구이며, 데이터 추출(샘플링)은 현실 세계의 데이터를 수집하고 분석하기 위한 중요한 과정입니다. 결합 확률과 조건부 확률은 여러 사건 간의 관계를 이해하는 데 도움을 주며, 기댓값, 평균, 분산, 공분산, 상관계수는 확률 변수의 특성을 요약하고 설명하는 데 사용됩니다. 최대 가능도 추정은 관측된 데이터를 기반으로 확률 분포의 모수를 추정하는 강력한 방법이며, 편향, 점근선, 평균 제곱 오차는 추정량과 모델의 성능을 평가하는 데 중요한 개념입니다. 이러한 확률 이론의 기본 개념들을 숙지함으로써 독자는 다양한 분야에서 발생하는 불확실성을 이해하고, 통계적 추론 및 의사 결정 능력을 향상시킬 수 있을 것입니다.

 

 

표 1: 이산 확률 변수와 연속 확률 변수의 비교

특징	이산 확률 변수	연속 확률 변수
값	셀 수 있는 유한 또는 무한 개	셀 수 없는 무한 개 (구간 내의 모든 값)
예시	동전 던지기 결과, 주사위 눈의 수, 불량품 개수	키, 몸무게, 온도, 시간
확률 함수	확률 질량 함수 (PMF)	확률 밀도 함수 (PDF)
확률 계산	특정 값에 대한 확률의 합	특정 구간에 대한 PDF의 적분

 

표 2: 주요 확률 표본 추출 방법

방법	설명	장점	단점
단순 무작위 추출	각 구성원이 동일한 확률로 선택	구현 용이, 편향 없음	큰 모집단에 적용 어려움
체계적 추출	일정한 간격으로 표본 선택	구현 용이	목록에 주기적인 패턴이 있으면 편향 발생 가능
층화 추출	모집단을 층으로 나누어 각 층에서 무작위 추출	각 층의 대표성 확보	층 분류 기준 필요
군집 추출	모집단을 군집으로 나누어 일부 군집을 무작위 선택	지리적으로 넓은 모집단에 효율적	군집 간의 이질성이 크면 표본 오차 증가