Entropy của mã PIN của SIM

Mỗi thẻ SIM di động có một số gồm bốn chữ số ($b_1$,$b_2$,$b_3$,$b_4$) được gọi là mã PIN. Mỗi chữ số $0 \le b_i \le 9$ (với i = 1, 2, 3, 4) được tạo bằng chuỗi 16 bit ngẫu nhiên như sau: $b_i=(r_{4i-3} + r_{4i-2} .2 + r_{4i-1}.2^2 + r_{4i}.2^3)\pmod {10} $. Làm thế nào chúng ta có thể tính toán antropy của mã PIN? Tôi biết mối quan hệ entropy nhưng tôi không có quan điểm.

Vì $0 \le b_i \le 5$, $p_i=\frac{2}{16}$ va cho $6 \le b_i \le 9$, $p_i=\frac{1}{16}$. Sau đó, chúng tôi tính toán các giá trị logarit, tương ứng bằng $\log_2(\frac{2}{16})=(1-4)$ và $\log_2(\frac{1}{16})=(-4)$. Bây giờ, theo quan hệ entropy, \begin{align} \ H(b_1) &= -\ \sum_{i=0}^{9} p_i \log_2(p_i ), \end{align} chúng ta sẽ có:

\begin{align} \ H(b_1) &= \ -(6 \cdot \frac{2}{16}(1-4) + 4 \cdot \frac{1}{16}(-4))=3,25, \end{align} đó là entopy của một chữ số. Vì có bốn chữ số độc lập, hãy nhân giá trị với 4 và chúng ta nhận được 13 bit entropy.