1. ...
  2. ...
  3. ...
  4. Решение задачи на тему: «Сообщение порождается двумя зависимыми источниками X и Y. Известны вероятности п...»
Решение задачи

Сообщение порождается двумя зависимыми источниками X и Y. Известны вероятности появления символов источника X: p(x1)=0.15, p(x2)=0.2, p(x3)=...

Теория вероятностей

Условие:

Сообщение порождается двумя зависимыми источниками X и Y. Известны вероятности появления символов источника X: p(x1)=0.15, p(x2)=0.2, p(x3)=0.65 Зависимость между источниками, которая задана матрицей условных вероятностей P(yj/xi): 0,3 0,2 0,5 0 0,1 0,9 0,2 0 0,8 Найти H(X), H(Y), H(X,Y), H(X/Y), H(Y/X)

Решение:

Для начала, давайте вычислим энтропию источника X.

H(X) = - Σ p(xi) * log2(p(xi))

H(X) = - (0.15 * log2(0.15) + 0.2 * log2(0.2) + 0.65 * log2(0.65))

H(X) ≈ 0.442179

Теперь вычислим энтропию источника Y.

H(Y) = - Σ p(yj) * log2(p(yj))

H(Y) = - (0.3 * log2(0.3) + 0.2 * log2(0.2) + 0.5 * log2(0.5) + 0.1 * log2(0.1) + 0.9 * log2(0.9) + 0.8 * log2(0.8))

H(Y) ≈ 2.046439

Теперь вычислим совместную энтропию источников X и Y.

H(X,Y) = - Σ Σ p(xi, yj) * log2(p(xi, yj))

H(X,Y) = - (0.15 * 0.3 * log2(0.15 * 0.3) + 0.15 * 0.2 * log2(0.15 * 0.2) + 0.15 * 0.5 * log2(0.15 * 0.5) + 0.2 * 0.1 * log2(0.2 * 0.1) + 0.2 * 0.9 * log2(0.2 * 0.9) + 0.65 * 0.2 * log2(0.65 * 0.2) + 0.65 * 0.5 * log2(0.65 * 0.5) + 0.65 * 0.8 * log2(0.65 * 0.8))

H(X,Y) ≈ 1.845069

Теперь вычислим условную энтропию H(X/Y).

H(X/Y) = - Σ Σ p(xi, yj) * log2(p(xi/yj))

H(X/Y) = - (0.15 * 0.3 * log2(0.15 / 0.3) + 0.15 * 0.2 * log2(0.15 / 0.2) + 0.15 * 0.5 * log2(0.15 / 0.5) + 0.2 * 0.1 * log2(0.2 / 0.1) + 0.2 * 0.9 * log2(0.2 / 0.9) + 0.65 * 0.2 * log2(0.65 / 0.2) + 0.65 * 0.5 * log2(0.65 / 0.5) + 0.65 * 0.8 * log2(0.65 / 0.8))

H(X/Y) ≈ 0.858179

Наконец, вычислим условную энтропию H(Y/X).

H(Y/X) = - Σ Σ p(xi, yj) * log2(p(yj/xi))

H(Y/X) = - (0.15 * 0.3 * log2(0.3 / 0.15) + 0.15 * 0.2 * log2(0.2 / 0.15) + 0.15 * 0.5 * log2(0.5 / 0.15) + 0.2 * 0.1 * log2(0.1 / 0.2) + 0.2 * 0.9 * log2(0.9 / 0.2) + 0.65 * 0.2 * log2(0.2 / 0.65) + 0.65 * 0.5 * log2(0.5 / 0.65) + 0.65 * 0.8 * log2(0.8 / 0.65))

H(Y/X) ≈ 1.187879

Таким образом, получаем следующие значения: H(X) ≈ 0.442179 H(Y) ≈ 2.046439 H(X,Y) ≈ 1.845069 H(X/Y) ≈ 0.858179 H(Y/X) ≈ 1.187879

Похожие работы

Попробуй и другие функции

  • ИИ для любых учебных целей

    • Научит решать задачи

    • Поможет решать задачи

    • Исправит ошибки в решении

    • Ответит на вопросы за минуту

    Попробовать
  • База готовых рефератов

    • Свыше 1,2 млн работ

    • Больше 160 предметов

    • Работы написали студенты вместе с AI

    • База ежедневно обновляется

    Попробовать

Решения по другим предметам