Διάλεξη 6: Μεταχηματισμοί Τυχ Μεταβλητών
Table of Contents
Έχασα την προηγούμενη διάλεξη. Σε περίπτωση που τα διαβάζει κανείς σε σειρά ίσως υπάρξουν κενά.Έχω προσπαθήσει να το καλύψω με προσωπική μελέτη, μα είναι εξαιρετικά πιθανό να λείπουν σημαντικές λεπτομέρειες.
Συγκεκριμένα η πρώτη ενότητα (Μοντέλο πολλαπλών τυχαίων μεταβλητών) μπήκε κατ’ αποκλειστικότητα για συμπλήρωση των υπολοίπων.
Μοντέλο πολλαπλών τυχαίων μεταβλητών.
’Έξυπνη’ η μελέτη από Πανά:
- pg 36-40
- pg 72-77
Μελετήσαμε και είδαμε τι γίνεται αν το αποτέλεσμα ενός πειράματος μπορεί να περιγραφεί από μία τυχαία μεταβλητή, ορίζοντας έτσι κατάλληλα τις CDF, PDF. Πολλά όμως πειράματα χρειάζονται περισσότερες τμ για την περιγραφή τους, καθιστώντας την μέχρι τώρα μελέτη κάπως ανεπαρκή.
Χαρακτηριστικά, το στοχαστικό σήμα χρειάζεται/εκμεταλλέυεται άπειρες τμ.
Επέκταση για δυο τυχαίες μεταβλητές
Έστω λοιπόν ότι οι μεταβλητές \(X,Y\) συνδέονται με το αποτέλεσμα του πειράματος και χρειαζόμαστε την πιθανότητα:
\begin{equation} \label{eq:6} \text{Pr}\left[X\leq x, Y\leq y\right] \end{equation}Τότε, βάση όσων έχουμε δει \(\text{Pr}\left[X\leq x\right] = F_x(x)\), αναμενόμενα θέλουμε την κοινή cdf των δύο τμ, η οποία λέγεται και JCDF (joint CDF):
\begin{equation} \label{eq:7} \text{Pr}\left[X\leq x, Y\leq y\right] = F_{XY}(x,y) \end{equation}Για την οποία ισχύουν οι αναμενόμενες από την απλή CDF ιδιότητες.
Τόσο η JCDF όσο και η JPDF μπορούν εύκολα να γίνουν εικόνα ως τομές υποχώρων.
Με παρόμοιο τρόπο ορίζεται και η JPDF (joint PDF):
\begin{equation} \label{eq:8} f_x(x) = \frac{d{F_x}}{d{x}} \stackrel{JPDF}{\Rightarrow} f_{XY}(x,y) = \frac{\partial^2{F_{XY}}}{\partial{x}\partial{x}} \end{equation}ή αντίστροφα:
\begin{equation} \label{eq:9} F_{XY}(x,y) = \int_{-\infty}^x\int_{-\infty}^y f_{XY}(x,y)dydx \end{equation}Όπως και για την JCDF, οι ιδιότητες της JPDF είναι πλήρως αναμενόμενες από την μελέτη της απλής CDF, όπως για παράδειγμα η:
\begin{equation} \label{eq:10} \text{Pr}\left[ x_1 < X\leq x_2, y_1< Y\leq y_2\right] = \int_{x_1^+}^{x_2}\int_{y_1+}^{y_2} f_{XY}(x,y)dydx \end{equation}- Ροπές
Παράλληλα, όπως αλλάζουν οι CDF, PDF, είναι αναμενόμενο πως θα χρειαστεί να ορίσουμε με διαφορετικό τρόπο και τις ροπές.
Η ροπή $n$οστής τάξης στο μοντέλο 2 τυχαίων μεταβλητών ορίζεται ως εξής:
\begin{equation} \label{eq:11} m_{kr} = E[X^kY^r] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x^ky^rf_{XY}(x,y)dxdy \end{equation}όπου η τάξη της ροπής ισούται με το άθροισμα \(n\) των εκθετών (\(n=k,r\)) Αντίστοιχα οι κεντρικές ροπές ορίζονται μέσω της:
\begin{equation} \label{eq:12} \mu_{kr} = E[(X-\bar{X})^k(Y-{\bar Y})^r] = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} (x-\bar{X})^k(y-{\bar Y})^rdxdy \end{equation}Όπως εύκολα αποδεικνύεται \(m_{10}= {\bar X}\), \(m_{01} = {\bar Y}\)
- Συσχέτιση και συντελεστής συσχέτισης.
Εκ των ροπών όμως είναι μερικές που /ξεχωρίζουν:οι \(m_{11}\),\(\mu_{11}\), αλλιώς συσχέτιση και συμμεταβλητότητα.
- Η συσχέτιση αποτελεί δείκτη αλληλοεξάρτησης των \(X,Y\), όπως άλλωστε και η συμμεταβλητότητα (της αλληλοεξάρτησης των \(X,Y\) κατόπιν της αφαίρεσης της μέσης τιμής)
- Αν \(m_{11}=0\) ή \(\mu_{11}=0\) τότε ισχύει \(m_{11}= \mu_{11} =0\)
Σε αυτό το πλαίσιο μπορούμε να ορίσουμε τον συντελεστή συσχέτισης (ή αλλιώς κανονικοποιημένη συμμεταβλητότητα)
\begin{equation} \label{eq:13} \rho = E[\frac{X-{\bar X}}{\sigma_x}, \frac{Y-{\bar Y}}{\sigma_y}] = E[Z\Theta] \end{equation}Εναλλακτικά μπορεί να γραφεί ως:
\begin{equation} \label{eq:14} \rho \stackrel{\text{cov = covariance}}{=} \frac{\text{cov}[x,y]}{\sigma_{x}\sigma_{y}} = \frac{E[(X-{\bar X})(Y-{\bar Y})]}{\sqrt{Var[X]Var[Y]}} \end{equation}ενώ ακόμα παρατίθονται οι:
\begin{align} \label{eq:15} -1\leq \rho \leq 1\\ \frac{m_{11}^2}{m_x^2-m_y^2} \leq 1 \end{align} - Χαρακτηριστική εξίσωση στο μοντέλο πολλών τμ:
\begin{equation} \label{eq:16} \Phi_{X}(\omega) = E[e^{j\omega x}] = \int_{-\infty}^{\infty} e^{j\omega x}f_x(x)dx \stackrel{JPDF}{\Rightarrow} \Phi_{XY}(\omega_1,\omega_2) = E[e^{j(\omega_1x+\omega_2y)}] = \cdots \end{equation}
Για ν τυχαίες μεταβλητές
Τα παραπάνω εύκολα ανάγονται για οποιονδήποτε αριθμό τυχαίων μεταβλητών.
Μετασχηματισμοί σε μοντέλλο πολλαπλών τμ
Δοθείσης της τμ \(Z=g(X,Y)\), και του μοντέλου \((X,Y,f_{XY}(x,y))\) ζητείται να βρουμε ποιο είναι το μοντέλο \((Z,f_Z)\):
Μετασχηματισμός JCDF
Την \(F_z(z)\) μπορούμε να την βρούμε σχετικά εύκολα μέσω της:
\begin{equation} \label{eq:17} F_z(z)= \text{Pr}\left[Z\leq z\right] = \text{Pr}\left[g(X,Y) \leq z\right] = \text{Pr}\left[(X,Y) \in D_z\right] = \iint_{(x,y)\in D_z}f_{xy}(x,y)dxdy \end{equation}Μετασχηματισμός JPDF
Για την \(f_z(z)\), όμως, χρειάζεται να ακολουθήσουμε διαφορετική προσέγγιση:
Θέτουμε \(W=h(X,Y)\) νέα τυχαία μεταβλητή (συχνά βολεύει \(W=X\) ή \(W=Y\)) ώστε να υπολογίσουμε την \(f_{ZW}(z,w)\) και μετά να γυρίσουμε στην \(f_z\) μέσω της ιδιότητας:
\begin{equation} \label{eq:18} f_x(x) = \int_{-\infty}^{\infty}f_{xy}(x,y)dy \end{equation}Έχουμε:
\begin{equation} \label{eq:19} f_{ZW}(z,w) = \sum_{i=1}^n \frac{f_{XY(x,y)}}{|J(x,y)|}|_{x=x_i,y=y_i} \end{equation}με \(J(x,y)\), την ιακωβιανή ορίζουσα:
\begin{equation} \label{eq:20} J(x,y) = \begin{vmatrix} \frac{\partial{g}}{\partial{x}} && \frac{\partial{g}}{\partial{y}}\\ \frac{\partial{h}}{\partial{x}} && \frac{\partial{h}}{\partial{y}}\\ \end{vmatrix} \end{equation}Προφανώς αυτό πρόκειται για υποπερίπτωση, του να θέλεις να πας από το \((X,Y,f_{XY})\to (Z,\Theta,f_{z\theta})\), όπου \(Z=g(X,Y),\Theta=h(X,Y)\)
Έστω ότι μας δίνεται η παρακάτω \(f\) και θέλουμε να πάμε από \((X,Y,f_{XY})\to(Z,W,f_{ZW})\)
\begin{align} \label{eq:1} f_{xy} = \begin{cases} 1 & 0\leq x,y \leq 1\\ 0 \end{cases} \end{align}- Πρόσεξε ότι δεν πρόκειται για κύκλο στο επίπεδο (βιάστηκα όταν το είχα δει βιαστικά). Είναι οτι και καλά \(x,y\) ανεξάρτητες και ακολουθούν ομοιομορφη κατανομή στο \([0,1]\)
Ενώ παράλληλα δίνεται:
\begin{align} \label{eq:2} Z &= g(X,Y) = \sqrt{-2\ln{x}}\cos{2\pi Y}\\ W &= h(X,Y) = \sqrt{-2\ln{x}}\sin{2\pi Y} \end{align}Οπότε για να το υπολογίσουμε χρειάζεται:
- Υπολογισμός των X,Y συναρτήσει των νέων μεταβλητών
- Υπολογισμός της Ιακωβιανής ορίζουσας
- Εφαρμογή του θεωρήματος επί της CDF, zw:
Αυτός ο μετασχηματισμός (Box-Mueller), δείχνει πως απο τυχαίες μεταβλητές που ακολουθούν ομοιόμορφη κατανομή να παράξω εξαρτημένες που ακολουθούν Gauss
Γνωρίζουμε το μοντέλο \((X,Y,f_{XY})\), και θέλουμε να πάμε στο \((Z,f_z)\) όπου ισχύει: \(Z = X+Y\)
- Θέτουμε δεύτερη μεταβλητή \(W=X\)
- Εκφράζουμε \(X,Y\) συναρτήσει των \(Z,W\) (\(X=W,Y=Z-W\))
- Υπολογίζουμε την Ιακωβιανή ορίζουσα \(J_{ZW} = -1\)
- Υπολογίζουμε την \(f_{ZW}\) με τον γνωστό τύπο \(\eqref{eq:19}\)
- Δεδομένου ότι \(f_{XY}=f_Xf_Y\) αντικαθιστούμε στην παραπάνω εξίσωση και τελικά προκύπτει από την \(\eqref{eq:18}\):
Για \(Z=max(X,Y)\)
\begin{equation} \label{eq:22} F_Z(z) = \text{Pr}\left[max(X,Y) \leq z\right] = \text{Pr}\left[X \leq z, Y\leq z\right] = \text{Pr}\left[X \leq z\right] \text{Pr}\left[Y \leq z\right] = F_X(z)F_Y(z) \end{equation}Για \(Z=min(X,Y)\)
\begin{equation} \label{eq:23} F_Z(z) = \text{Pr}\left[min(X,Y)\leq z\right]= \text{Pr}\left[(X\leq z)\cup (Y\leq z)\right] = \text{Pr}\left[X\leq z\right] + \text{Pr}\left[Y\leq z\right] - \text{Pr}\left[(X\leq z)\cap (Y\leq z)\right] = F_X(z) + F_Y(z) \end{equation}Εύρεση με μετασχηματισμό μίας μεταβλητής και υπο συνθήκη πιθανότητες
- Ιδιαίτερα χρήσιμος όταν είσαι με πολλαπλασιασμό. Θέτεις την μία εκ των δύο τυχαίων μεταβλητών σε σταθερά. Έστω δηλαδή
Έτσι ανάγεις τον μετασχηματισμό 2 τμ σε μετασχηματισμό μόνο μίας. Χρησιμοποιείς τον παλιό ήδη γνωστό τύπο. Έτσι μπλέκεις με δεσμευμένες πιθανότητες
\begin{equation} \label{eq:3} f_{Z|X}(Z|X=x) = \frac{f_{Y|X}(Y|x)}{|x|}|_{y= \frac{Z}{x}} \end{equation}Και κατόπιν ολοκληρώνεις ως προς όλες τις τιμές που μπορεί να λάβει το \(x\)
\begin{equation} \label{eq:24} f_z(z) = \int_{-\infty}^{\infty}f_{Z|X}(z|X=x)f_X(x)dx \end{equation}Εισαγωγή σε κατανομές πολλαπλών τμ:
Η ανάλυση που κάναμε μέχρι στιγμές επεκτείνεται με την χρήση διανυσμάτων για \(n\) τυχαίες μεταβλητές.
Η διάλεξη σταμάτησε εδώ.