@Tanya933

Как понять, что при обучении функция ошибки попала в локальный минимум? Ошибка начинает увеличиваться или очень медленно уменьшаться?

0

@сахатый

То же как при приближении к глобальному экстремуму, ошибка стабилизируется и шумит, многое зависит от применения «ускорителей» градиентного спуска , всяких гессианов и эвристических масштабирований лернингрэйта градиента, приращение ошибки может и не замедляться перед эустремумом а почти линейно к нему прийти и там осциллировать

1

@VTsaregorodtsev

Ой, как я рад тому, что народ использует деление на лок/глоб.минимумы при определении успешности обучения

Вместо того, чтобы успехом считать построение АДЕКВАТНОЙ модели (нейросети).

В качестве одного примера-подсказки: в случае шума в данных глоб.минимум может соответствовать запоминанию шума (т.е. неадекватной модели), а лок.минимум - остановке в момент, когда тенденции были выявлены, но случайный шум ещё не начал запоминаться.


Да и смысл ловить разные минимумы при КОМБИНАТОРНОМ числе эквивалентных "клонов"-копий каждого минимума (хоть локального, хоть глобального) в нейросетке? Думаете, что если одно обучение прибежало в лок.минимум - то следующее прибежит в глобальный? Нет, может прибежать даже не в другой лок.минимум - а в эквивалентный предыдущему вариант (в котором просто будут "переставлены" местами пара нейронов скрытого слоя с их входными и выходными синапсами - таких возможных парных перестановок комбинаторное число, и это ещё не вся комбинаторика эквивалентностей в нейросетке).

0

@сахатый

Ну так динамика ошибки на лёрне и тесте как правило и отражают адекватность модели, на сколько мне известно строгой теории как строить архитектуры многослойных персептронов в зависимости от данных и процесса обучения ещё нет, всё на эвристиках, что то типа генетического перебора архитектур которые сравниваются по функционалам которые зависят как правило от минимума ошибки на тесте и чтобы не сильно шумела. А адекватных моделей может быть много, вопрос как эту адекватность быстро вычислять ограничивая перебор.

0