Форум программистов, компьютерный форум, киберфорум Python3
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
Старый
Альтернативная реализация функции evaluate для keras
Запись от Konst2016 размещена 09.04.2022 в 12:56
Показов 879 Комментарии 0
Метки evaluate, keras, python, python3

Здравствуйте!В этой статье хочу показать как я альтернативно реализовал функцию evaluate для keras.Это функция оценки насколько точно модель предсказывает y по X.В нативной реализации она не подойдет для оценки one-hot векторов и я сделал свою реализацию для этих целей.Показано на примере xor.
Python Скопировано
1
2
3
4
5
6
# evaluate_.py
import numpy as np
 
def evaluate(model, X_test: list, Y_test: list, verbose=0):
    """
    Оценка набора в процентах
...
Старый
Основы препроцессоринга текста для NLP
Запись от Konst2016 размещена 22.01.2022 в 14:14
Показов 1021 Комментарии 0
Метки nlp, python, python3, sklearn

Нажмите на изображение для увеличения
Название: knigi.jpg
Просмотров: 202
Размер:	166.6 Кб
ID:	7377
Здравствуйте дорогие читатели!В этой статье я хочу показать реализованные неким автором By torselllo c сайта nlpx.net http://nlpx.net/archives/57
tf-idf (term frequency-inverse document frequency или на рус., частотность терминов-обратная частотность документов) и и их же реализацию на
sklearn(пакет sklearn.feature_extraction.text) а также bag of words (мешок слов)...
Старый
Модель продажи шампуня shampoo-sales близка. Обновил: Я так думал.Не нормализовавал данные
Запись от Konst2016 размещена 30.11.2021 в 06:12
Показов 913 Комментарии 0
Метки ai, lstm, python, python3, sales, ии, ряд

Привет!Я писал в прошлых статьях про набор shampoo-sales и как не получалось предсказать
2 точки (2 месяца) после каждых 5 месяцев тестового набора(на которых сеть не обучалась),
были большие сомнения что это даже близко возможно, ведь мы как бы предсказываем будущее,
но для...
Миниатюры
Нажмите на изображение для увеличения
Название: gr_learn_relu_na_konce.png
Просмотров: 235
Размер:	15.4 Кб
ID:	7258   Нажмите на изображение для увеличения
Название: gr_predict_2_tochki.png
Просмотров: 222
Размер:	44.0 Кб
ID:	7259   Нажмите на изображение для увеличения
Название: gr_predict_2_tochki_relu_na_konce.png
Просмотров: 214
Размер:	32.3 Кб
ID:	7260  

Нажмите на изображение для увеличения
Название: gr_learn_relu_na_konce_prav.png
Просмотров: 235
Размер:	14.3 Кб
ID:	7261   Нажмите на изображение для увеличения
Название: gr_predict_2_tochki_relu_na_konce_realn.png
Просмотров: 259
Размер:	29.1 Кб
ID:	7262  
Старый
Анализ временного ряда shampoo-sales. Сеть делает предсказание на своих же предсказаниях
Запись от Konst2016 размещена 24.11.2021 в 14:44
Показов 750 Комментарии 0

Здравствуйте дорогие читатели!)Хочу показать модель
где я предсказывал список shampoo-sales, что это такое?
Это 3 года по 12 месяцев и в каждом месяце показано
количество проданного шампуня за даннный месяц.
Вот он:
Bash Скопировано
1
2
3
4
5
6
7
8
"Month","Sales"
"1-01",266.0
"1-02",145.9
"1-03",183.1
"1-04",119.3
"1-05",180.3
"1-06",168.5
"1-07",231.8
...
Миниатюры
Нажмите на изображение для увеличения
Название: gr_predict.png
Просмотров: 245
Размер:	41.5 Кб
ID:	7244   Нажмите на изображение для увеличения
Название: gr_predict_sama_je_na_sebe.png
Просмотров: 212
Размер:	49.5 Кб
ID:	7245   Нажмите на изображение для увеличения
Название: gr_learn.png
Просмотров: 242
Размер:	17.6 Кб
ID:	7246  

Старый
Предсказание (модель) LSTM сети на мультивариантных временных рядах на списках акций
Запись от Konst2016 размещена 18.11.2021 в 17:52
Показов 501 Комментарии 0

Здравствуйте!Я писал в прошлой статье как я примерно работал с мультивариантными данными во временных рядах.Это статья https://www.cyberforum.ru/blog... g7345.html .
Здесь я строю графики предсказания модели обученной на 4 годах на акциях Генерал Электрик, где как ввод сети
подавалась 5 параметров 5-ти дней(в прошлой статье) и здесь вывод...
Миниатюры
Нажмите на изображение для увеличения
Название: 5_past_1par_future_blizko.jpg
Просмотров: 79
Размер:	117.4 Кб
ID:	7239   Нажмите на изображение для увеличения
Название: gr_learn.png
Просмотров: 71
Размер:	12.7 Кб
ID:	7240   Нажмите на изображение для увеличения
Название: model_ne_blizko.jpg
Просмотров: 80
Размер:	74.7 Кб
ID:	7241  

Нажмите на изображение для увеличения
Название: gr_predict.png
Просмотров: 73
Размер:	60.0 Кб
ID:	7242  
Старый
Работа с генераторами keras
Запись от Konst2016 размещена 04.10.2021 в 19:57
Показов 1429 Комментарии 0

Здравствуйте!Хочу привести код с генераторами изображений на
keras.Структуру папок я показал в комментариях к коду.В папках
train я нарисовал треугольник, круг, квадрат, они цветные,
отнеслись к классам в лексиграфическом порядке генераторами.
Папка val(validate) была...
Старый
Обучение на Cifar10.Сверточные сети
Запись от Konst2016 размещена 26.09.2021 в 20:54
Показов 2054 Комментарии 0
Метки ai, nn, python, python3, ии, сnn

Добрый день!В этой статье я собираюсь привести код по обработке изображений cifar10, это
Нажмите на изображение для увеличения
Название: habr_cifar10.png
Просмотров: 333
Размер:	313.0 Кб
ID:	7161
и они цветные.
Работал по этой статье:
https://habr.com/ru/company/wu... og/314872/
Обучал в google colab c GPU системой.
Итак:
Python Скопировано
1
2
3
import keras
from keras.datasets import cifar10 # subroutines for fetching the CIFAR-10 dataset
from keras.models import Model # basic class for specifying and training a neural network
...
Старый
Более глубокий полносвязный энкодер создает цифры
Запись от Konst2016 размещена 16.09.2021 в 01:28
Показов 2421 Комментарии 0

Здравствуйте!В этой статье я привожу код более сложного, более глубокого полносвязного энкодера.Что это такое
я писал в прошлой статье https://www.cyberforum.ru/blog... g7271.html, здесь больше слоев у него.Обучал его в Google colab, использовал локально.
Python Скопировано
1
2
3
4
5
6
7
8
#-*-coding: cp1251-*-
"""
   Автоэнкодер более глубокий dense
"""
import sys
import numpy as np
import sys
import
...
Изображения
     
Старый
Простой автоэнкодер создает картинки с числами
Запись от Konst2016 размещена 12.09.2021 в 20:31
Показов 2823 Комментарии 0

Здравствуйте! В этой статье я хочу показать как сделал автоэнкодер, что это?Модель обучается на данных mnist
, модель сделана как 784 нейрона входные->128 нейрона->64->49<здесь сеть сужается>->64->784<видно количество входов==количество выходов-это
автоенкодер>, видно...
Изображения
          
Старый
Интеллектуальный исполнитель для работы со статьями
Запись от Konst2016 размещена 02.09.2021 в 18:04
Показов 2201 Комментарии 0
Метки ai, gensim, nlp, nltk, python, python3, ии

Здравствуйте!
В этой статье я хочу показать, как я реализовал программу, основанную, как я думаю, на искусственном интеллекте.Он
основан на пакете python gensim, который может обработать статью(например, загруженную из википедии) с помощью neiro-net
и найдите векторные представления...
Старый
Свой серилиазатор для 2D матриц/списков
Запись от Konst2016 размещена 24.08.2021 в 19:51
Показов 1943 Комментарии 0

Здравствуйте, я разработал маленький сериализатор, им можно сериализовать 2D матрицы, например для загрузки данных весов из обученной сети например из Theano.Pickle формат может быть сложным, а такой формат можно и на контроллеры разместить(с C/Cpp программами).
2D списки не проверяет, но должны быть 2D списками.
Python Скопировано
1
2
3
4
5
6
7
8
# app.py
import struct as st
 
# D - data, I - instruciya.
(Dmatrix2D, Istop)=range(2)
 
 
def make_bin_string(string:str)->tuple:
...
Старый
Рейтинг: 5.00. Голосов: 1.
Из уроков Theano, 2-х слойная нейросеть, тестирование, опыты
Запись от Konst2016 размещена 19.08.2021 в 12:00
Показов 2767 Комментарии 0

Здравствуйте!Пишу статью как тестировал нейросеть говорят из уроков Theano.Прокоментировал и сделал другой файл classifer_test_compr_matr.py где
я попробовал сжать матрицу обучения как конвергируюмую это вообще matr-=mean(matr <по всем осям>) и matr=matr.transportirovat dot matr.
Получается что матрица...
Старый
Основы пакета Theano
Запись от Konst2016 размещена 14.08.2021 в 12:24
Показов 2379 Комментарии 0

Здравствуйте!Хочу дать статью где тестировал фреймворк Theano.
Скачал так (старый)(через анаконду):
>python -m pip install theano=1.0.0.
У меня были установлены переменные среды для Cpp компиляторов, но их запуск давал ошибку.Надо было затирать переменные среды
такие, я код удалил...
Миниатюры
Нажмите на изображение для увеличения
Название: gr.png
Просмотров: 539
Размер:	21.0 Кб
ID:	7082  
Старый
Рейтинг: 1.00. Голосов: 1.
Сверточная нейросеть для опознованее 2-х статей википедии.Как обычно не справилась:)
Запись от Konst2016 размещена 11.08.2021 в 15:54
Показов 3586 Комментарии 0

Здравствуйте!Собираюсь написать как я обучал сеть (сверточную) на матрице из векторов word2vec пакета gensim.Писал в прошлых
статьях про обработку есстесственного языка.Там я использовал рекурентную сеть pybrain и представлял каждую статью(а их было 2 -
на англ. языке про вычесление...
Старый
Рейтинг: 1.00. Голосов: 1.
Скрипт.Обработка естесственного языка.Сеть обучается на 2х статьях википедии.Реальное тестирование.
Запись от Konst2016 размещена 04.08.2021 в 12:46
Показов 1598 Комментарии 0

Здравствуйте!Писал статью про обучение рекурентной сети на матрице слов полученных
от обработки word2vec пакета gensim, теперь решил реально протестировать обученную сеть.Сеть показывает
неправильно.В файле test_article_calculation.txt полная статья о печатанье, в test_article_printing.txt - про...
Старый
Рейтинг: 1.00. Голосов: 1.
Скрипт.Обработка естесственного языка.Сеть обучается на 2х статьях википедии
Запись от Konst2016 размещена 02.08.2021 в 22:02
Показов 2536 Комментарии 2

Здравствуйте!Написал код как 2-хслойная нейросеть обрабатывает матрицу, полученную от операции word2vec(пакет gensim)
, а это операция требует урлы статей из википедии про что такое вычисление и печатанье.Они даны в файле I.txt так:
https://en.wikipedia.org/wiki/Calculation
https://en.wikipedia.org/wiki/Printing
Сеть пока обучилась и показала оценку на тренировочных данных 100%.Она работала с сжатой...
Старый
Рейтинг: 1.00. Голосов: 1.
Кое-что получается с обработкой естесственного языка(gensim, pybrain). Предобработка.
Запись от Konst2016 размещена 01.08.2021 в 18:08
Показов 1516 Комментарии 0

Здравствуйте!Я писал что пытался обработать матрицу из примерно 1_600 рядов, полученную
после word2vec обработки статьи про исскусственный интелект, тогда оценка модели на обучающих
данных показала 0.05% для рекурентной сети.Сейчас я сжал матрицу (конвергентная матрица получилась)....
Старый
Рейтинг: 1.00. Голосов: 1.
Обучение рекурентной сети матрицей из gensim
Запись от Konst2016 размещена 31.07.2021 в 21:30
Показов 1520 Комментарии 0

Здравствуйте!Хочу рассказать о более-менее серьезном проекте по моим попыткам обработки естественного языка(nlp).Здесь
для сетей (рекурентных) использовал pybrain, для представления слов статьи про искуственный интелект в виде 10-мерных
векторов(векторов Томаша Миколова...
Старый
Рейтинг: 1.00. Голосов: 1.
Как тестировал Xor на рекурентной сети pybrain
Запись от Konst2016 размещена 28.07.2021 в 21:46
Показов 1170 Комментарии 0

Здравствуйте!Хочу рассказать как я тестировал Xor на рекурентной сети pybrain.
Почему то разнятся ответы сети от функции activ() (и вообще вывод сети в глобальной области скрипта) и функии evaluate() (даже
ее запускал 2 раза - и там результаты немного различаются)
Python Скопировано
1
2
3
from pybrain.structure import RecurrentNetwork, FullConnection, LinearLayer, SigmoidLayer
from pybrain.datasets import SupervisedDataSet
from pybrain.supervised.trainers import BackpropTrainer
...
Старый
Рейтинг: 1.00. Голосов: 1.
PyBrain - примеры
Запись от Konst2016 размещена 10.07.2021 в 14:26
Показов 3171 Комментарии 0

Добрый всем день!)Хочу привести примеры как я использовал библиотеку машинного обучения-PyBrain, основы:
Python Скопировано
1
2
3
4
5
6
7
8
#1)
from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure import TanhLayer, SoftmaxLayer
net = buildNetwork(2, 3, 2, hiddenclass=TanhLayer, outclass=SoftmaxLayer)
"""
 Сеть рандомна инициализирована, проверим ее
"""
print('act', net.activate((2,
...
Старый
Рейтинг: 1.00. Голосов: 1.
Использование PyBrain - основы
Запись от Konst2016 размещена 09.07.2021 в 15:44
Показов 2203 Комментарии 0

Здравствуйте!Хочу рассказать как я установил PyBrain для Python3(сейчас оказывается на GitHub есть поддержка для Python3).
Клонировал с git clone.
Зашел в корень pybrain.
Команда: >python setup.py install (что удобно - PyBrain похоже полностью на Py-не надо компиляторов).
Код для xor.
[app.py]

Python Скопировано
1
2
3
from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure import SigmoidLayer
from pybrain.datasets import SupervisedDataSet
...
Старый
Рейтинг: 1.00. Голосов: 1.
Попытки работать с Фурье преобразованием
Запись от Konst2016 размещена 19.07.2020 в 13:33
Показов 2555 Комментарии 2

19//07//2020
Привет!Начал немного изучать преобразование Фурье и для опытов опять использую элементы виртуальной машины:
Основной код:
Python Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import numpy as np
from util import get_logger
import logging
 
Forward=1
Backward=-1
import math
import matplotlib.pyplot as plt
 
def plot(_file:str,x:list,y:list,logger:logging.Logger)->None:
    
    fig:plt.Figure=None
    ax:plt.Axes=None
    fig,
...
Миниатюры
Нажмите на изображение для увеличения
Название: grp2.png
Просмотров: 861
Размер:	19.0 Кб
ID:	6361  
Старый
Рейтинг: 1.00. Голосов: 1.
Элементы виртуальной машины для keras
Запись от Konst2016 размещена 09.07.2020 в 12:52
Показов 1161 Комментарии 0
Метки ai, keras, python, python3, ии

Здравствуйте!

Под такой машиной подразумеваю выполнение элементарных команд вместе с памятью.И это все использую для конфигурации модели нейросети и ее обучения.Сам проект на github:
https://github.com/kosta2222/keras_shel_co

Приведу пример исполнителя из этого проекта:

Python Скопировано
1
2
3
4
import logging
import keras
from consts import stop,nparray,make_net,determe_X_Y,push_obj,predict,push_i,push_str, \
    plot_train,sav_model_wei,sav_model,fit_net,get_mult_class_matr,cr_callback_wi_loss_treshold_and_acc_shure,
...
Изображения
 
Новые блоги и статьи
Async/await в Swift: Асинхронное программировани­е в iOS
mobDevWorks 20.03.2025
Асинхронное программирование долго было одной из самых сложных задач для разработчиков iOS. В течение многих лет мы сражались с замыканиями, диспетчеризацией очередей и обратными вызовами, чтобы. . .
Сложность Колмогорова: Приёмы упрощения кода
ArchitectMsa 20.03.2025
Наверное, каждый программист хотя бы раз сталкивался с кодом, который напоминает запутанный лабиринт — чем дальше в него погружаешься, тем сложнее найти выход. И когда мы говорим о сложности кода, мы. . .
PostgreSQL в Kubernetes: Подготовка кластера и настройка
Mr. Docker 20.03.2025
Когда доходит до контейнеризации баз данных и особенно таких требовательных к ресурсам системах как PostgreSQL, многие команды до сих пор колеблются, прежде чем перенести их в контейнерную. . .
C++26: Индексирование пакетов и метапрограммиро­вание
bytestream 20.03.2025
Эволюция C++ продолжается стремительными темпами – каждый новый стандарт приносит функциональность, о которой мы мечтали годами. Звучит слишком громко? Если вы когда-либо боролись с вариадическими. . .
Состояние гонки в C#: подводные камни многопоточного программировани­я
UnmanagedCoder 20.03.2025
Что такое состояние гонки? Это ситуация, когда результат программы непредсказуемо меняется в зависимости от порядка выполнения потоков. Проще говоря, два или более потока пытаются одновременно. . .
Next.js для разработки React: преимущества серверного рендеринга
Reangularity 20.03.2025
Next. js решает классическую проблему React-приложений: медленную первоначальную загрузку и плохую индексацию поисковиками. Вместо того чтобы заставлять браузер пользователя выполнять всю работу по. . .
JUnit или TestNG: Выбираем Java-фреймворк для тестирования
Javaican 20.03.2025
История тестовых фреймворков в Java началась в конце 90-х, когда Кент Бек и Эрих Гамма разработали JUnit - инструмент, который перевернул представление разработчиков о модульном тестировании. JUnit. . .
Разбиваем монолит на два микросервиса и реализуем CI/CD
ArchitectMsa 20.03.2025
Когда команда растет, а функциональность монолита расширяется, поддерживать и развивать такую систему становится все труднее. Разработчики начинают тратить много времени на разбор сложных. . .
Python и PDF: Создание и редактирование файлов
py-thonny 20.03.2025
Работа с PDF-документами – одна из популярных задач в современной разработке. Python предлагает несколько инструментов для создания, чтения и редактирования PDF-файлов, среди которых особенно. . .
Корутины в Unity и производительно­сть WaitForSeconds
GameUnited 20.03.2025
Разработчики игр на Unity часто сталкиваются с вопросом: как выполнять действия через определённые промежутки времени, не блокируя основной поток игры? Тут как раз и приходят на помощь корутины —. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru
Выделить код Копировать код Сохранить код Нормальный размер Увеличенный размер