Сообщение порождается двумя зависимыми источниками X и Y. Известны вероятности появления символов источника X: p(x1)=0.15, p(x2)=0.2, p(x3)=...
Условие:
Сообщение порождается двумя зависимыми источниками X и Y. Известны вероятности появления символов источника X: p(x1)=0.15, p(x2)=0.2, p(x3)=0.65 Зависимость между источниками, которая задана матрицей условных вероятностей P(yj/xi): 0,3 0,2 0,5 0 0,1 0,9 0,2 0 0,8 Найти H(X), H(Y), H(X,Y), H(X/Y), H(Y/X)
Решение:
Для начала, давайте вычислим энтропию источника X.
H(X) = - Σ p(xi) * log2(p(xi))
H(X) = - (0.15 * log2(0.15) + 0.2 * log2(0.2) + 0.65 * log2(0.65))
H(X) ≈ 0.442179
Теперь вычислим энтропию источника Y.
H(Y) = - Σ p(yj) * log2(p(yj))
H(Y) = - (0.3 * log2(0.3) + 0.2 * log2(0.2) + 0.5 * log2(0.5) + 0.1 * log2(0.1) + 0.9 * log2(0.9) + 0.8 * log2(0.8))
H(Y) ≈ 2.046439
Теперь вычислим совместную энтропию источников X и Y.
H(X,Y) = - Σ Σ p(xi, yj) * log2(p(xi, yj))
H(X,Y) = - (0.15 * 0.3 * log2(0.15 * 0.3) + 0.15 * 0.2 * log2(0.15 * 0.2) + 0.15 * 0.5 * log2(0.15 * 0.5) + 0.2 * 0.1 * log2(0.2 * 0.1) + 0.2 * 0.9 * log2(0.2 * 0.9) + 0.65 * 0.2 * log2(0.65 * 0.2) + 0.65 * 0.5 * log2(0.65 * 0.5) + 0.65 * 0.8 * log2(0.65 * 0.8))
H(X,Y) ≈ 1.845069
Теперь вычислим условную энтропию H(X/Y).
H(X/Y) = - Σ Σ p(xi, yj) * log2(p(xi/yj))
H(X/Y) = - (0.15 * 0.3 * log2(0.15 / 0.3) + 0.15 * 0.2 * log2(0.15 / 0.2) + 0.15 * 0.5 * log2(0.15 / 0.5) + 0.2 * 0.1 * log2(0.2 / 0.1) + 0.2 * 0.9 * log2(0.2 / 0.9) + 0.65 * 0.2 * log2(0.65 / 0.2) + 0.65 * 0.5 * log2(0.65 / 0.5) + 0.65 * 0.8 * log2(0.65 / 0.8))
H(X/Y) ≈ 0.858179
Наконец, вычислим условную энтропию H(Y/X).
H(Y/X) = - Σ Σ p(xi, yj) * log2(p(yj/xi))
H(Y/X) = - (0.15 * 0.3 * log2(0.3 / 0.15) + 0.15 * 0.2 * log2(0.2 / 0.15) + 0.15 * 0.5 * log2(0.5 / 0.15) + 0.2 * 0.1 * log2(0.1 / 0.2) + 0.2 * 0.9 * log2(0.9 / 0.2) + 0.65 * 0.2 * log2(0.2 / 0.65) + 0.65 * 0.5 * log2(0.5 / 0.65) + 0.65 * 0.8 * log2(0.8 / 0.65))
H(Y/X) ≈ 1.187879
Таким образом, получаем следующие значения: H(X) ≈ 0.442179 H(Y) ≈ 2.046439 H(X,Y) ≈ 1.845069 H(X/Y) ≈ 0.858179 H(Y/X) ≈ 1.187879