@pifpafich

Прочитал и посмотрел много теории, но так и не получилось сделать, чтото похожее на практике. Посоветуйте подробную статью о нейронных сетях и их ОБУЧЕНИИ , желательно с исходниками. Для c#. Заранее спасибо

0

@VTsaregorodtsev

Разных видов/вариантов нейросеток - дофига и больше.
И народ тут телепатией не страдает - чтобы знать, что Вы читали, чего не поняли, что Вам нужно советуемой статьёй/литературой пояснить и какой вообще вариант сетки Вам нужно.

0

@IamRain

Труды Франсуа Шолле и команды.
Труды Джеффа Дина и команды.
Разбирайтесь на здоровье.

0

@pifpafich

Многослойная нейронная сеть

Добавлено через 3 часа 55 минут
Многослойная нейронная сеть. Обучение скрытых слоёв.
Функция Sigmoid применяется ко всем нейронам на выход ,кроме входных?
Нейрон из скрытого слоя принимает и обучается по всем дельтам и весам со следущего* слоя?
Исходник простой многослойной нейронной сети ,со слоями ,с методами обучения и тд

0

@IamRain

Сигмоид сейчас очень редко используется, только в случае бинарной классификации в выходном слое.
Есть функции у которых скорость сходимости выше, + они обладают некоторыми полезными свойствами.
Например, tanh центрирует данные вокруг 0 (удобно для следующего слоя), а ReLU (и его модификации) обладаются видным преимуществом - низкая вычислительная сложность.

Соответственно, ReLU сейчас наиболее часто используется - скорости вычислений выше. + Она почти никогда не страдает от низкой скорости обучения, как например tanh и sigmoid в области, когда производная близка к нулю.
Хотя есть такое понятие - Dead ReLU. => Тут появляются модификации ReLU (Leaky ReLU, ELU, Maxout).

Насколько я знаю, да. Откорректированная матрица весов следюущего слоя используется для корректировки весов предыдущего слоя. Это и есть backward pass. - Разве что сквозь сетку проходят веса.

1

@pifpafich

Функция активации используется ко всем нейронам?

0

@IamRain

Плохо читали, читайте лучше.

0