Измерение количества информации и энтропии

@~~Eru Iluvatar~~ · 11.05.2014, 02:06. **Показов** 1615. **Ответов** 2

Author24 — интернет-сервис помощи студентам

Помогите понять решение таких задач:
1) Вычислить энтропию опыта, состоящего в определении цвета наугад вынутого шарика, если в непрозрачном мешочке хранятся 30 белых, 30 красных, 30 синих и 10 зеленых шариков.

2) Ученика А вызывают к доске в 8 раз реже, чем ученика В. Количество бит информации в сообщении о том, что вызвали ученика А обозначим iA, ученика B – iB. Определите, чему равна разность между величинами iA и iB.

В первом я только могу найти количество информации по формуле Шеннона, которое содержится в событии "вытащили какой-то шарик", а как определить энтропию?

Во втором можно обозначить за x количество раз, сколько вызывают ученика А, тогда ученика B вызывают 8x раз. А как дальше думать? Где-нибудь подробно разобраны такие задачи?

zer0mail · 11.05.2014, 08:48

http://lmgtfy.com/?q=%D1%8D%D0... 1%84%D0%BE

@~~Eru Iluvatar~~ · 11.05.2014, 12:09 **[ТС]**

В гугле ничего не понятно. Например, то, почему формула энтропии и формула количества информации по Шеннону одинаковые:
http://www.5byte.ru/10/0004.php
http://cito-web.yspu.org/link1... ode28.html

@~~Eru Iluvatar~~ Заблокирован
		1
	Измерение количества информации и энтропии 11.05.2014, 02:06. Показов 1615. Ответов 2 Метки нет (Все метки) Помогите понять решение таких задач: 1) Вычислить энтропию опыта, состоящего в определении цвета наугад вынутого шарика, если в непрозрачном мешочке хранятся 30 белых, 30 красных, 30 синих и 10 зеленых шариков. 2) Ученика А вызывают к доске в 8 раз реже, чем ученика В. Количество бит информации в сообщении о том, что вызвали ученика А обозначим iA, ученика B – iB. Определите, чему равна разность между величинами iA и iB. В первом я только могу найти количество информации по формуле Шеннона, которое содержится в событии "вытащили какой-то шарик", а как определить энтропию? Во втором можно обозначить за x количество раз, сколько вызывают ученика А, тогда ученика B вызывают 8x раз. А как дальше думать? Где-нибудь подробно разобраны такие задачи? 0

zer0mail 2686 / 2258 / 244 Регистрация: 03.07.2012 Сообщений: 8,219 Записей в блоге: 1
	11.05.2014, 08:48	2
	http://lmgtfy.com/?q=%D1%8D%D0... 1%84%D0%BE 0

@~~Eru Iluvatar~~ Заблокирован
	11.05.2014, 12:09 [ТС]	3
	В гугле ничего не понятно. Например, то, почему формула энтропии и формула количества информации по Шеннону одинаковые: http://www.5byte.ru/10/0004.php http://cito-web.yspu.org/link1... ode28.html 0