3.1-3.3 Continuous Random Variables

Lecture 8: Continuous Random Variables

MIT opencourse 강좌를 보고 내용을 나름대로 정리한 글입니다.

각 개념이 궁금하실 때마다 해당 부분을 보고 개념을 잡으시는 것에 도움이 되면 좋겠습니다.

 

Chapter 2까지는 영어로 책 기반으로 블로그 글을 작성 중이었는데, 정보 정리와 전달에 있어 효율적이지 않은 것 같다고 판단했습니다.

그래서 Chapter 3부터는 강의를 기준으로 개괄적이고 중요한 내용들을 저의 insight를 담아 적어보려 합니다.

 

그럼 시작합니다!

 

목차

• Continuous random variables (r.v.) and probability density functions (PDF)
• Means and variances
• Cumulative distribution functions (CDF)
• Mixed distributions
• Gaussian (normal) PDF
• Calculating normal probabilities (in text book, Normal random variables)

 

---

Continuous random variables (r.v.) and PDFs

 

여기서 PDF : probability density function (확률 밀도 함수라고도 하죠)

 

A continuous r.v. is described by a probability density function \(f_X\) .

연속 random variable은 PDF로 나타낼 수 있다.

PDF

 

Sample space에서 특정 Event \({a \leq X \leq b}\) 에 해당하는 continuous random variable들이 있을 때,

이건 오른쪽 그래프 PDF 와 같이 density로 설명할 수 있다는 것이다.

 

PDF

density function의 값은 1보다 높을 수 있다. (아래 추가 설명)

한 점에서의 값은 구할 수 없다. continuous random variable의 property를 따르기 때문이다.

그렇지만 \(x ~ x+ \delta\) 로 구간을 정해서 \(\delta\)를 0으로 극한을 취해주면 그 부분에서의 probability를 구할 수 있다.

엄밀히 말하면 single point에서의 integral은 '0'. zero이다.

 

PMF와의 관계

여기서 막간으로 discrete r.v. 에 대해서도 이야기해보자.

discrete r.v.는 PMF, probability mass function으로 표현할 수 있다고 했다.

이 때, mass function은 density function으로 대체 가능하다.

 

 

Probability와 PDF의 관계

$$P(a \leq X \leq b) = \int_a^b f_X (x) dx$$

 

해당 event에 해당하는 random variable들의 확률은 a에서 b까지의 구간에 대해 PDF를 적분한 것과 같다고 볼 수 있다. (중요!)

 

또한, 그렇기 때문에 전체 Probability의 합은 1이어야 하고,
이에 따라 \(\int_{-\infty}^{\infty} f_X (x) dx = 1\) 이 된다.

 

 

$$P(x \leq X \leq x + \delta) = \int_x^{x+ \delta} f_X (s) ds \approx f_X (x) \cdot \delta$$

식의 뒷 부분, density * \(\delta\) 는 해당 interval에 대해 '밑변 x 높이' 로 표현할 수 있다.

 

여기서 \(\delta\)가 충분히 작은 small interval을 가진다고 하자.

그럴 때, 우측의 \(f_X (x) \cdot \delta\)와 \(P(x \leq X \leq x + \delta)\) 의 equality를 이용해

probability per unit length를 확인할 수 있다.

$$f_X (x) = \frac {P(x \leq X \leq x + \delta)}{\delta}$$

 

이를 통해, density 와 probability는 동일하지 않다는 것을 알 수 있다.

그렇기에 probability의 성질과 다르게 density 함수의 경우 특정 위치에서 1보다 큰 값을 가질 수 있다는 것이다.

 

 

Set에 대해

$$P(X \in B) = \int_B f_X (x) dx, \text{for "nice" sets B}$$

통계적으로, case by case로 nice함이 정의되겠지만, set에 대해서 continuous r.v.의 PDF를 위와 같이 정리할 수 있다.

---

Means and variances

이번에는 continuous r.v.의 mean과 variance에 대해 정리한다.

 

$$E[X] = \int_{-\infty}^{\infty} x f_X(x) dx$$

$$E[g(X)] = \int_{-\infty}^{\infty} g(x) f_X(x) dx$$

$$var(X) = \sigma_X^2 = \int_{-\infty}^{\infty} (x - E[X])^2 f_X(x) dx$$

= 편차 제곱의 평균으로, \(E[X^2] - E[X]^2\) 로 표현 가능하다.

 

Continuous Uniform r.v.

 

 

왼쪽 그림은 special한 case의 continuous r.v.이다.

특정 구간 a에서 b까지의 구간이 uniform하게 이루어져 있고, 그 외 부분은 0인 형태이다.

 

continuous uniform r.v.의 특징은 아래와 같다.

• 무게 중심이 mid point이다.
• a~b 사이 구간에서 동일 길이 \(\delta\)로 구간을 여러 개 쪼개면, 각 구간별로 same probability를 가지게 된다.
• 전체 사각형 영역의 합은 1이다. (probability 전체 합은 1이니까!)

위 특징을 식으로 정리해보자.

 

$$\f_X(x) = \frac{1}{b-a}, a \leq x \leq b , \text{  other wise, = 0}$$

 

$$E[X] = \int_a^b x \cdot \frac{1}{b-a} dx = \frac{a+b}{2}$$

즉, continuous r.v. 의 expectation은 a와 b의 midpoint 로 볼 수 있다.

 

$$\sigma_X^2 = \int_a^b (x - \frac{a+b}{2})^2 \frac{1}{b-a} dx = \frac{(b-a)^2}{12}$$

분산. 편차의 제곱의 평균. 이때 평균은 expectation, midpoint가 쓰이고, 구간은 b-a로 표현 가능하다.

 

$$\sigma_X = \frac{b-a}{\sqrt{12}}$$

표준편차는 이처럼 분산에 root 씌운 모양.

 

 

---

Cumulative distribution functions (CDF)

지금까지는 continuous random variable에 대해 표현하는 PDF를 위주로 살펴보았다.

이번에는 이 PDF를 적분한 CDF를 살펴보고자 한다.

integral of the density function 라고도 볼 수 있다.

 

여기서 잠깐!

discrete r.v.와 continuous r.v.에 둘 다 적용하려면 각각 증명이 되어야 한다.

이를 하나로 통합해서 표현이 가능한가?

'Yes'. 강의에 따르면 Unifying concept를 적용할 수 있다고 한다.

 

CDF

For continuous r.v.'s,

$$F_X(x) = P(X \leq x) = \int_{-\infty}^{x} f_X(t) dt$$

 

x라는 특정 number보다 작거나 같은 것을 기준으로 Probability를 표현한다.

앞서 언급했듯이, integral of the density function 가 CDF이다.

그렇다면, CDF가 주어졌을 때 PDF는 어떻게 구할 수 있을까?

바로 CDF를 derivative 하는 것이다.

$$\frac{dFx}{dx}(x) = f_X(x)$$

 

 

아래는 Continuous Uniform r.v.에 대한 PDF와 CDF의 그래프 예시이다.

 

 

왼쪽의 PDF 그래프를 먼저 보자.

여기서 a와 b 사이에 certain number 'x'가 존재한다고 하자.

CDF는 a와 b 사이에서는 이 x의 움직임에 따라 linearly 증가하는 값을 가지게 되는 것이다.

그리고 a, b 사이 구간 외 다른 곳들은 PDF의 값들이 0이기 때문에, 이를 cumulate 한 CDF에서도 수평한 그래프를 얻을 수 있다.

 

 

For discrete r.v.'s,

$$F_X(x) = P(X \leq x) = \sum_{k \leq x} p_X(k)$$

discrete r.v.에도 continuous r.v.에 적용된 concept과 unify한 것을 적용 가능하다.

 

아래는 discrete r.v.에 대한 PMF와, 그 PMF에 대한 CDF를 나타낸 그림이다.

 

이처럼 discrete r.v.의 CDF의 경우 계단식으로 상승하는 것을 확인할 수 있다.

---

Mixed distributions

지금까지 continuous r.v.와 discrete r.v.에 대한 경우를 살펴보았다.

그러나 현실 세계에는 모든 random variable이 continuous, discrete 로 딱 나누어지는 것이 아니다.

mix된 case도 존재한다.

이번 파트에서는 Mixed random variable의 경우를 살펴보고자 한다.

 

 

이는 PDF와 PMF가 합쳐진 schematic drawing이다.

impulse function이라고 불리는 형태라고 한다.

0~1 사이에서는 continuous uniform r.v. 가 PDF로 표현되었고

1/2 포인트에서는 discrete r.v.가 1/2만큼의 값을 가지는 PMF로 표현되었다.

그림에는 표시가 빠졌지만, PDF의 사각형 높이가 1/2이다.

 

정리하자면,

PDF : (1-0) * 1/2 = 1/2

PMF : 1/2 포인트에서의 값 1/2

으로 전체 probability의 합이 1로 유지가 된다.

 

이에 대한 CDF를 살펴보자!

어떤 종류의 r.v.를 가지고 있든지 간에, CDF는 well-defined 된다.

Mixed r.v.의 경우도 위 그림처럼 나타낼 수 있다.

전체 probability가 1이기 때문에, 변화가 없는 x가 1 이후부터는 CDF가 1의 값으로 유지되는 것을 확인할 수 있다.

그리고 PMF가 더해지는 순간인 x = 1/2일 때, PMF의 값 크기만큼 CDF가 상승한다.

 

이렇게 우리는 실제로 접하는 다양한 random variable의 CDF를 다룰 수 있게 되었다!

---

Gaussian (normal) PDF

마무리하기 전에, 우리에게 가장 익숙한, probability theory에서 가장 중요하다고 볼 수 있는 gaussian distribution 에 대해서 정리해보자.

normal distribution은 continuous distribution이라고 볼 수 있겠다. (제 생각입니다)

 

 

Standard normal PDF

 

위 식은 standard normal distribution에 대한 PDF를, 그림은 distribution과 그에 대한 CDF를 나타낸 것이다.

standard normal distribution은 \(E[X] = 0\) 이고 \(var(X)=1\)인 Gaussian distribution이다.

이 PDF, \(f_X(x)\)는 probability의 특징에 따라 integral은 1이 된다.

 

 

General normal \(N( \mu, \sigma^2)\)

 

여기서 표준편차 (standard diviation)인 \(\sigma\)와

평균 (mean) 인 \(\mu\) 를 확인할 수 있다.

 

(알아두면 좋은 : \(\sigma\)가 작을수록 narrow하다!)

\(E[X] = \mu \)     and      \(Var(X) = \sigma^2\)

 

 

그럼 우리는 이걸 어떻게 활용할 수 있을까?

X 가 normal distribution일 때, X의 linear combination인 Y 또한 normal distribution을 따른다.

증명을 해보자

Let \(Y = aX + b\)

Then, \(E[Y] = a\mu+b\)    \(Var(Y) = a^2 \sigma^2\)

Fact is \( Y ~ N(a\mu + b, a^2 \sigma^2)\)

 

그렇다! 그렇기에 우리는 normal distribution을 따른다고 가정한다면, 이의 linear combination인 Y 또한 활용할 수 있다.

---

Calculating normal probabilities

그럼, 이제 normal probability들을 계산하는 방법을 보자.

앞서 언급했듯이, CDF의 사용에는 closed form, 정해진 형식이 없다.

 

그렇지만 우리는 standard normal에 대해서 미리 계산해 둔 table이 존재한다.

 

If \(X ~ N(\mu, \sigma^2\), then \(\frac{X-\mu}{\sigma} ~ N(0, 1^2)\)

이렇게 X에 대한 linear function으로 표현함으로써 standard normal distribution에 맞춰 normalize 할 수 있다.

std가 클 수록, mean으로부터 멀리 떨어진 곳까지 데이터가 분포해있다는 것이다.

 

그렇게 normal distribution을 따르는 분포를 가지고 있다면, standard norm을 따르도록 위 식을 이용해서 바꾸고,

아래처럼 주어지는 table의 값을 이용하면 복잡한 계산 없이 바로 CDF의 값을 구할 수 있다.

 

 

---

The constellation of concepts

컨셉을 최종적으로 정리해보자.

Discrete                                    Continuous

PMF                                      PDF

\(p_X (x)\)                                   \(f_X(x)\) -> marginal

\(F_X(x)\)

\(E[X], var(x)\)

\(p_{X, Y} (x, y)\)                       \(f_{X, Y}(x, y)\) -> joint

           \(p_{X|Y} (x| y)\)                    \(f_{X| Y}(x| y)\) -> conditional

\(\sum\)                                    \(\int\)

\(P_X\)                                    \(f_X\)

 

---

References

Bertsekas, D. P., Tsitsiklis, J. N. (2008). Introduction to Probability Second Edition. Athena Scientific.

이번 글의 이미지는 아래 Lecture Note에서 가져옴을 밝힙니다.

Lecture 8: Continuous Random Variables | Probabilistic Systems Analysis and Applied Probability | Electrical Engineering and Computer Science | MIT OpenCourseWare

Lecture 8: Continuous Random Variables | Probabilistic Systems Analysis and Applied Probability | Electrical Engineering and Com