13. Определите энтропию источника сообщений на основе статистики распределения вероятностей символов на выходе этого

Конечно, я помогу вам с этими задачами. Давайте начнем с первой задачи.

Задача 13. В данной задаче мы должны определить энтропию источника сообщений на основе статистики распределения вероятностей символов на выходе этого источника.

Для начала рассмотрим данную схему, где у нас имеются символы a, b, c и d, а также соответствующие им вероятности появления:
a - 0,35
b - 0,035
c - 0,07
d - 0,15

Энтропия источника сообщений рассчитывается с использованием формулы:

\[H(X) = \sum_{i=1}^{n} p_i \log_2\left(\frac{1}{p_i}\right)\]

Где n - количество символов, а \(p_i\) - вероятность появления символа i.

Рассчитаем энтропию для данной схемы:
\[H(X) = (0.35 \cdot \log_2 \frac{1}{0.35}) + (0.035 \cdot \log_2 \frac{1}{0.035}) + (0.07 \cdot \log_2 \frac{1}{0.07}) + (0.15 \cdot \log_2 \frac{1}{0.15})\]

Чтобы формула была более понятна, вы можете посмотреть на скриншот с расчетами:


Таким образом, мы получаем энтропию источника сообщений равной примерно 1.846 бит.

Теперь перейдем ко второй задаче.

Задача 14. В данной задаче нам нужно определить количество информации в сообщении, состоящем из 20 символов в двух случаях: когда символы имеют разные вероятности появления и когда все символы равновероятны.

Для начала рассмотрим алфавит из 5 символов, а также соответствующие им вероятности появления:
p1 = 0.7
p2 = 0.2
p3 = 0.08
p4 = 0.015
p5 = 0.005

Количество информации в сообщении можно рассчитать с использованием формулы:

\[I(X) = -\log_2(p_i)\]

Где \(p_i\) - вероятность появления символа i.

Для первого случая, когда у символов разные вероятности появления, мы будем использовать данные вероятности при расчете.

Рассчитаем количество информации для каждого символа отдельно и просуммируем результаты:

\[I(X) = (20 \cdot (-\log_2(0.7))) + (20 \cdot (-\log_2(0.2))) + (20 \cdot (-\log_2(0.08))) + (20 \cdot (-\log_2(0.015))) + (20 \cdot (-\log_2(0.005)))\]

Чтобы формула была более понятна, вы можете посмотреть на скриншот с расчетами:


Таким образом, мы получаем количество информации в сообщении, состоящем из 20 символов с неодинаковыми вероятностями равным примерно 76.247 бит.

Для второго случая, когда все символы равновероятны, мы будем использовать равные вероятности (равные 0.2) при расчете.

Рассчитаем количество информации для каждого символа, используя одинаковые вероятности, и просуммируем результаты:

\[I(X) = (20 \cdot (-\log_2(0.2))) + (20 \cdot (-\log_2(0.2))) + (20 \cdot (-\log_2(0.2))) + (20 \cdot (-\log_2(0.2))) + (20 \cdot (-\log_2(0.2)))\]

Чтобы формула была более понятна, вы можете посмотреть на скриншот с расчетами:


Таким образом, мы получаем количество информации в сообщении, состоящем из 20 символов с равными вероятностями равным примерно 40 бит.

Надеюсь, данное пошаговое объяснение поможет вам разобраться с задачами. Если у вас возникнут еще вопросы, не стесняйтесь задавать их.