Докажите, что для двух опытов а и b выполняется равенство: энтропия а при условии b плюс энтропия b равна энтропия

Для доказательства данного равенства, нам понадобится использовать определение условной энтропии и свойство аддитивности энтропии. Давайте начнем с определения условной энтропии.

Условная энтропия \(H(A|B)\) двух случайных событий A и B определяется следующим образом:

\[H(A|B) = -\sum P(A,B) \cdot \log{P(A|B)}\]

где P(A,B) - совместная вероятность событий A и B, а P(A|B) - условная вероятность события A при условии, что B уже произошло.

Учитывая это определение, давайте перейдем к доказательству равенства. Для удобства, обозначим энтропию как H.

Мы должны доказать, что:

\[H(a|b) + H(b) = H(b|a) + H(a)\]

Разложим условные энтропии в соответствии с определением:

\[H(a|b) = -\sum P(a,b) \cdot \log{P(a|b)}\]
\[H(b|a) = -\sum P(a,b) \cdot \log{P(b|a)}\]

Теперь внесем \(P(a,b)\) в каждую из сумм, чтобы объединить их:

\[H(a|b) + H(b|a) = -\sum P(a,b) \cdot \log{P(a|b)} -\sum P(a,b) \cdot \log{P(b|a)}\]

Далее, используем формулу условной вероятности \(P(a|b) = \frac{P(a,b)}{P(b)}\) и \(P(b|a) = \frac{P(a,b)}{P(a)}\), чтобы выразить условные вероятности через совместные:

\[H(a|b) + H(b|a) = -\sum P(a,b) \cdot \log{\frac{P(a,b)}{P(b)}} -\sum P(a,b) \cdot \log{\frac{P(a,b)}{P(a)}}\]

Далее, воспользуемся свойством логарифма \(\log(x/y) = \log(x) - \log(y)\):

\[H(a|b) + H(b|a) = -\sum P(a,b) \cdot \left(\log{P(a,b)} - \log{P(b)}\right) -\sum P(a,b) \cdot \left(\log{P(a,b)} - \log{P(a)}\right)\]

Раскроем скобки и объединим подобные члены внутри сумм:

\[H(a|b) + H(b|a) = -\sum P(a,b) \cdot \log{P(a,b)} + \sum P(a,b) \cdot \log{P(b)} -\sum P(a,b) \cdot \log{P(a,b)} + \sum P(a,b) \cdot \log{P(a)}\]

Заметим, что первый и третий члены суммы, а также второй и четвертый члены суммы, можно объединить:

\[H(a|b) + H(b|a) = -2\sum P(a,b) \cdot \log{P(a,b)} + \sum P(a,b) \cdot \log{P(b)} + \sum P(a,b) \cdot \log{P(a)}\]

Теперь рассмотрим последовательность сумм и обозначим ее как \(\sum" P(a,b)\):

\[H(a|b) + H(b|a) = -2\sum" P(a,b) \cdot \log{P(a,b)} + \sum" P(a,b) \cdot \log{P(b)} + \sum" P(a,b) \cdot \log{P(a)}\]

Заметим, что суммы \(\sum" P(a,b) \cdot \log{P(a,b)}\) и \(\sum" P(a,b)\) являются энтропией совместного распределения и вероятностью соответственно:

\[H(a,b) = -\sum" P(a,b) \cdot \log{P(a,b)};\]
\[P(a,b) = \sum" P(a,b)\]

Теперь заменим суммы на энтропию и вероятность:

\[H(a|b) + H(b|a) = -2 \cdot H(a,b) + \sum" P(a,b) \cdot \log{P(b)} + \sum" P(a,b) \cdot \log{P(a)}\]

Две последние суммы представляют собой энтропии \(H(b)\) и \(H(a)\) соответственно:

\[H(a|b) + H(b|a) = -2 \cdot H(a,b) + H(b) + H(a)\]

Теперь мы видим, что слева у нас исходная сумма условных энтропий, а справа у нас сумма энтропий.

Таким образом, мы успешно доказали, что для двух опытов а и b выполняется равенство:

\[H(a|b) + H(b) = H(b|a) + H(a)\]

Здесь мы использовали определения условной энтропии и свойство аддитивности энтропии.