Tại sao Entropy được định nghĩa là Tổng phân phối xác suất chung?

Từ cuốn sách của Stinson, trong phần trình diễn Định lý sau đây cho biết:

$H(X,Y) \leq H(X) + H(Y)$, đẳng thức khi và chỉ khi $X$ và $Y$ là các biến ngẫu nhiên độc lập.

Tác giả nói giả sử $X$ lấy các giá trị $x_i$, $i$ trong khoảng từ 1 đến m, và $Y$ lấy các giá trị $y_j$, $j$ trong khoảng từ 1 đến n, anh ký hiệu $p_i = \Pr[X=x_i]$, $i$ từ 1 đến m, và $q_j = \Pr[Y=y_j]$, $j$ từ 1 đến n. Sau đó, ông định nghĩa $r_{ij} = \Pr[X = x_i, Y = y_j]$, $i$ từ 1 đến m và $j$ từ 1 đến n, câu hỏi của tôi là:

tại sao lại là $$p_i = \sum_{j=1}^{n} r_{ij}$$

và $$q_j = \sum_{i=1}^{m} r_{ij}$$

Tôi muốn một cuộc biểu tình chi tiết. Tôi cũng muốn hiểu rõ hơn những gì $H(X,Y)$ có nghĩa.

Đầu tiên lưu ý rằng dấu phẩy trong xác suất là toán tử AND; $$ \Pr[X = x , Y = y] = \Pr[X = x \wedge Y = y]$$ Đây là ký hiệu phổ biến để đơn giản hóa văn bản.

Bây giờ, viết rõ ràng như

$$p_i = \sum_{j=1}^{n} r_{ij} = \Pr[X = x_i \wedge Y = y_0] + \Pr[X = x_i \wedge Y = y_1] + \cdots + \ Pr[X = x_i \wedge Y = y_m]$$

Vì các biến ngẫu nhiên $X$ và $Y$ độc lập thì đây chỉ là một phân vùng của sự kiện $x_i$ bởi biến ngẫu nhiên $Y$.

Như một trường hợp chắc chắn, hãy xem xét hai con xúc xắc; một người có $X$ và khác là $Y$ là biến ngẫu nhiên của chúng đại diện cho giá trị trên của xúc xắc. Tổng cộng có 36 giá trị bằng nhau có thể có của hai lần tung xúc xắc. Sửa cái đầu tiên, giả sử $3$ sau đó

\begin{align}\Pr(X=3) = & \Pr(X=3,Y=1)+\ & \Pr(X=3,Y=2)+\ & \Pr(X=3,Y=3)+\ & \Pr(X=3,Y=4)+\ & \Pr(X=3,Y=5)+\ & \Pr(X=3,Y=6)\ = &\frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36} +\frac{ 1}{36} = \frac{1}{6} \end{align}

$H(X,Y)$ thực sự là Entropy chung và công thức được đưa ra bởi (một lần nữa AND);

$$H(X,Y) = -\sum_{x\in\mathcal X} \sum_{y\in\mathcal Y} P(x,y) \log_2[P(x,y)]$$

Trong bối cảnh của chúng tôi, đây là

$$H(X,Y) = -\sum_{x\in X} \sum_{y\in Y} P(X=x,Y=y) \log_2[P(X=x,Y=y)] $$

$H(X,Y)$ là đánh giá đồng thời của $X$ và $Y$ và điều đó bằng với đánh giá đầu tiên $X$ thì giá trị đã cho của $X$ đánh giá $Y$

$$H(X,Y)= H(X|Y)+H(Y)=H(Y|X)+H(X) $$

Chứng minh cái này hơi dài;

\begin{align} H(X,Y) & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X= x_i,Y =y_j) \big)\ & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X=x_i) \Pr(Y |X = y_j|x_i) \big)\ & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \big[ \log \big( \Pr(X=x_i) \ lớn) + \log \big( \Pr(Y|X = y_j|x_i) \big) \big] \ & = â \sum_{i=1}^n \left( \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \right) \log \big( \Pr(X= x_i) \big) \ & - \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \left( \Pr(Y|X = y_j|x_i) \right) \ & = H(X) + H(Y|X) \end{align}

Entropy không phụ thuộc vào "nhãn" hoặc giá trị của biến ngẫu nhiên là gì, nó là thuộc tính CHỈ của phân phối. Sau tất cả, bạn chỉ cần sử dụng $P(x), P(y), P(x,y)$ vv trong công thức không $x,y$.

Một khi bạn nhận ra điều này, tập xác suất $P(x,y)$ là tất cả những gì bạn cần để sử dụng và áp dụng định nghĩa entropy ban đầu cho một biến ngẫu nhiên duy nhất. Nếu bạn thích, hãy xác định một biến ngẫu nhiên vectơ $z=(x,y)$ và tính entropy của nó là $$ -\sum_{z} P(z) \log P(z) $$ giống như máy tính $$ -\sum_{x,y} P(x,y) \log P(x,y) $$ Điều này cũng có nghĩa là entropy chung của một số biến ngẫu nhiên $H(x_1,\ldots,x_n)=H(p_1,\ldots,p_n):=H_0$ với $P(x_i)=p_i,$ giống như entropy của bất kỳ sự sắp xếp lại (hoán vị) nào của phân phối chung, vì vậy điều này có nghĩa là

$$ H(p_{\sigma(1))},p_{\sigma(2)},\ldots,p_{\sigma(n)})=H_0 $$ cho tất cả các hoán vị $\sigma:\{1,\ldots,n\}\rightarrow \{1,\ldots,n\}.$