Теория информации, энтропия

@Nare6ato · Регистрация: 19.09.2018

Author24 — интернет-сервис помощи студентам

Один опыт состоит в том, что внутри круга случайно ставится точка, которая может попасть или не попасть в правильный треугольник, вписанный в этот круг. В другом опыте точка ставится случайно внутри правильного треугольника и может оказаться внутри или вне вписанного в этот треугольник круга. Какой опыт является более неопределенным?

@jogano · 20.02.2019, 19:23

Для начала надо в каждом случае посчитать вероятность p попасть во внутреннюю фигуру, дальше вычислить энтропию $https://www.cyberforum.ru/cgi-bin/latex.cgi?H=-p \log _2 p-\left(1-p \right) \log _2 \left(1-p \right)$ . Слагаемых два, так как в каждом случае два состояния - попадание или не попадание точки в внутреннюю фигуру.
Энтропия Н оказывается равной в первом случае 0,9783 , во втором 0,9682. Более неопределённый опыт тот, в котором энтропия больше, то есть первый.
Вообще, если у системы всего 2 состояния, то график зависимости H(p) напоминает по форме полуэллипс $https://www.cyberforum.ru/cgi-bin/latex.cgi?\frac{\left(p-0,5 \right)^2}{0,5^2}+\frac{H^2}{1^2}=1$ , только немного суженный к прямой p=0,5, где энтропия максимальна: H(0,5)=1, то есть где неопределённость выше всего. Чем ближе p к 0 или к 1, тем ближе H(p) к 0, то есть неопределённость ниже.

Новые блоги и статьи Все статьи Все блоги /
std::vector в C++: от основ к оптимизации производительности NullReferenced 05.04.2025 Для многих программистов знакомство с std::vector происходит на ранних этапах изучения языка, но между базовым пониманием и подлинным мастерством лежит огромная дистанция. Контейнер std::vector. . .	Реляционная модель и правила Кодда: фундамент современных баз данных Codd 05.04.2025 Конец 1960-х — начало 1970-х годов был периодом глубоких трансформаций в области хранения и обработки данных. На фоне растущих потребностей бизнеса и правительственных структур существовавшие на тот. . .	Асинхронные операции в Django с Celery py-thonny 05.04.2025 Разработчики Django часто сталкиваются с проблемой, когда пользователь нажимает кнопку отправки формы и. . . ждёт. Секунды растягиваются в минуты, терпение иссякает, а интерфейс приложения замирает. . . .	Использование кэшей CPU: Максимальная производительность в Go golander 05.04.2025 Разработчикам хорошо известно, что эффективность кода зависит не только от алгоритмов и структур данных, но и от того, насколько удачно программа взаимодействует с железом. Среди множества факторов,. . .	Создаем Telegram бот на TypeScript с grammY run.dev 05.04.2025 Одна из его самых сильных сторон Telegram — это интеграция ботов прямо в экосистему приложения. В отличие от многих других платформ, он предоставляет разработчикам мощный API, позволяющий создавать. . .
Паттерны распределённых транзакций в Event-Driven микросервисах ArchitectMsa 05.04.2025 Современные программные системы всё чаще проектируются как совокупность взаимодействующих микросервисов. И хотя такой подход даёт множество преимуществ — масштабируемость, гибкость, устойчивость к. . .	Работа с объемным DOM в javascript Htext 04.04.2025 Сегодня прочитал статью тут о расходах памяти в JS, ее утечках и т. п. И вот что вспомнил из своей недавней практики. Может, кому пригодится. Хотя, в той статье об этом тоже есть. Дело в том, что я. . .	Оптимизация производительности Node.js с помощью кластеризации run.dev 04.04.2025 Масштабирование приложений для обработки тысяч и миллионов запросов — обыденная задача для многих команд. Node. js, благодаря своей асинхронной событийно-ориентированной архитектуре, стал популярной. . .	Управление зависимостями в Python с Poetry py-thonny 04.04.2025 Стандартный инструмент для установки пакетов в Python - pip - прекрасно справляется с базовыми сценариями: установил пакет командой pip install и используешь его. Но что произойдёт, когда разные. . .	Мониторинг с Prometheus в PHP Jason-Webb 04.04.2025 Prometheus выделяется среди других систем мониторинга своим подходом к сбору и хранению метрик. В отличие от New Relic, который использует агентный подход и отправляет данные во внешнее хранилище,. . .

@Nare6ato 0 / 0 / 0 Регистрация: 19.09.2018 Сообщений: 32

	Теория информации, энтропия 20.02.2019, 18:27. Показов 2096. Ответов 1 Метки нет (Все метки) Один опыт состоит в том, что внутри круга случайно ставится точка, которая может попасть или не попасть в правильный треугольник, вписанный в этот круг. В другом опыте точка ставится случайно внутри правильного треугольника и может оказаться внутри или вне вписанного в этот треугольник круга. Какой опыт является более неопределенным? 0

@jogano $Эксперт по математике/физике$ 6358 / 4065 / 1512 Регистрация: 09.10.2009 Сообщений: 7,550 Записей в блоге: 4
	20.02.2019, 19:23
	Для начала надо в каждом случае посчитать вероятность p попасть во внутреннюю фигуру, дальше вычислить энтропию $https://www.cyberforum.ru/cgi-bin/latex.cgi?H=-p \log _2 p-\left(1-p \right) \log _2 \left(1-p \right)$ . Слагаемых два, так как в каждом случае два состояния - попадание или не попадание точки в внутреннюю фигуру. Энтропия Н оказывается равной в первом случае 0,9783 , во втором 0,9682. Более неопределённый опыт тот, в котором энтропия больше, то есть первый. Вообще, если у системы всего 2 состояния, то график зависимости H(p) напоминает по форме полуэллипс $https://www.cyberforum.ru/cgi-bin/latex.cgi?\frac{\left(p-0,5 \right)^2}{0,5^2}+\frac{H^2}{1^2}=1$ , только немного суженный к прямой p=0,5, где энтропия максимальна: H(0,5)=1, то есть где неопределённость выше всего. Чем ближе p к 0 или к 1, тем ближе H(p) к 0, то есть неопределённость ниже. 1