확률 vs 가능도

📌 확률 (Probability)

✅ 특정 결과가 발생할 가능성(기회)

• 모델 파라미터 θ가 주어졌을 때, 데이터 X가 관측될 확률

📌 가능도 (likelihood)

✅ 확률 모델에서 관측된 데이터가 주어졌을 때, 모델의 파라미터 θ(또는 가정)가 관찰된 데이터에 얼마나 적합한가를 수치로 나타낸 척도.

θ가 얼마나 데이터 X를 잘 설명하는가?에 대한 척도이므로 θ를 움직여가며 평가하는 것이 목적이다.

(모델이나 가설이 관찰된 데이터에 얼마나 잘 맞는가를 수치적으로 나타낸 척도)

• 관측된 데이터 X가 주어졌을 때, 각각의 θ가 얼마나 타당한가? 얼마나 데이터를 잘 설명하는가?를 나타내는 값

• X라는 관측값이 주어졌을 때, θ를 따르는 확률 분포에서 X라는 관측값이 나올 확률
• 이미 X가 주어졌을 때 θ가 달라짐에 따라 X를 얼마나 잘 설명(타당화)하는지를 타나내는 함수
• θ를 변수로 삼고, X를 고정한다.

• 모델 파라미터 θ가 주어졌을 때, 데이터 X가 나올 확률
• θ가 고정된 상태에서 X라는 데이터가 일어날 확률
• X를 변수로 삼고, θ를 고정한다.

📌 예시

X : 사과의 무게

X ~ N(14, 9) : 평균이 14, 표준편차가 3인 정규분포를 따르는 사과로 가득 찬 양동이가 있다.

그 양동이의 정규 분포는 다음과 같다.

사과의 무게가 15~16g일 확률은 다음과 같다.

색칠된 부분이 사과의 무게가 15~16g일 확률(probability)이다.

(정규)분포의 매개변수(평균과 표준편차)를 알고 있으면, 사건이 일어날 확률을 알 수 있다.

 

확률 = P(사건 | 분포 )

💡 분포를 알고 있다는 것은 평균과 표준편차를 알고 있는 것이다.

💡 분포가 주어졌을 때, 해당 분포에서 사건이 일어날 가능성을 예측하는 것이 확률이다.

⭐ 확률은 확률 밀도 함수 곡선 아래의 면적이다.

 

 

 

⭐가능도는 확률 밀도 곡선에서 x값에 대응되는 y값(밀도값)이다.

 

 

평균 14, 표준편차 3인 분포에서 사과의 무게(X)가 16.5일 때의 가능도는 0.094이다.

평균 14, 표준편차 3

 

평균 15, 표준편차 3인 분포에서 사과의 무게(X)가 16.5일 때의 가능도는 0.117이다.

평균 15, 표준편차 3

 

사과의 무게 16.5에 대해 평균이 14인 분포를 가질 가능도보다 평균이 15인 분포를 가질 가능도가 더 높다.

 

사과의 무게 16.5가 나올 가능성이 가장 높은 분포는 평균이 16.5인 분포이다. 

y값(확률 밀도 값)이 제일 크다.

가능도 = L(분포 | 데이터 )

데이터(사과의 무게)가 주어지면 특정 매개변수(평균 14, 평균 15, 평균 16.5... 표준편차 3,...)를 갖는 분포에서

이 데이터가 샘플링될 가능성(확률 밀도값)을 측정한다.

 

 

📌 코드

✅ 확률 시각화하는 코드

import numpy as np
import matplotlib.pyplot as plt

# 평균과 표준편차 설정
mu = 14
sigma = 3

# 그래프를 그릴 x값의 범위 설정 (평균 ±3*표준편차 범위)
x = np.linspace(mu - 3*sigma, mu + 3*sigma, 200)

# 정규분포 확률밀도함수(PDF) 계산
pdf = (1 / (sigma * np.sqrt(2 * np.pi))) * \
      np.exp(-((x - mu) ** 2) / (2 * sigma ** 2))

#음영 넣을 구간 (x=15 ~ x= 16)
x_shade = np.linspace(15, 16, 100)
pdf_shade = (1 / (sigma * np.sqrt(2 * np.pi))) * \
            np.exp(-((x_shade - mu) ** 2) / (2 * sigma ** 2))

plt.fill_between(x_shade, pdf_shade, color='green', alpha=0.3)

# 그래프 그리기
plt.plot(x, pdf, color='green', label=f'(μ={mu}, σ={sigma})')
plt.title(f'(μ={mu}, σ={sigma})')
plt.xlabel("x(apple weight)")
plt.ylabel("Probability Density")
plt.legend()
#plt.grid(True)
plt.show()

 

 

✅ 가능도 시각화하는 코드

import numpy as np
import matplotlib.pyplot as plt

# 평균과 표준편차 설정
mu = 14
sigma = 3

# 그래프를 그릴 x값의 범위 설정 (평균 ±3*표준편차 범위)
x = np.linspace(mu - 3*sigma, mu + 3*sigma, 200)

# 정규분포 확률밀도함수(PDF) 계산
pdf = (1 / (sigma * np.sqrt(2 * np.pi))) * \
      np.exp(-((x - mu) ** 2) / (2 * sigma ** 2))


# 그래프 그리기
plt.plot(x, pdf, color='green', label=f'μ={mu}, σ={sigma}')

x_line = 16.5
pdf_value = (1 / (sigma * np.sqrt(2 * np.pi))) * \
            np.exp(-((x_line - mu) ** 2) / (2 * sigma ** 2))


#1) x=16.5에 세로선(빨간 점선)그리기
plt.axvline(x=x_line, color='red', linestyle='--', label='x=16.5')

#2) 해당 확률 밀도값에 가로선(빨간 실선)그리기
plt.axhline(y=pdf_value, color='red', label=f'y={pdf_value:.3f}')


#그래프 꾸미기
plt.title(f'μ={mu}, σ={sigma}')
plt.xlabel("x(apple weight)")
plt.ylabel("Probability Density")
plt.legend()

plt.show()

📌 출처

https://digestize.medium.com/stat-digest-likelihood-is-not-probability-b5bce82eded5

Stat Digest: Likelihood is not Probability

https://modulabs.co.kr/blog/probability-versus-likelihood

확률 vs 가능도