С Новым годом! Форум программистов, компьютерный форум, киберфорум
Искусственный интеллект, ML
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.91/54: Рейтинг темы: голосов - 54, средняя оценка - 4.91
-28 / 5 / 0
Регистрация: 26.02.2015
Сообщений: 297
1

Пространство слов на базисе категорий

12.04.2019, 16:27. Показов 10476. Ответов 42
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Я уже высказывал эту идею в теме "Изучение ИИ":
Цитата Сообщение от osvald Посмотреть сообщение
Я думал о том чтобы найти некий базис слов, с помощью которых можно описать другие слова. Каждое слово в таком базисе есть ось координат. Например слова мышка, кошка и собака будут иметь на оси размера например координаты 1, 3, 5. Я даже пытался найти этот базис, для этого я просматривал слова имеющие положительный смысл и группировал их, выделяя из группы основное, в итоге каждому слову можно было бы сопоставить точку в базисном пространстве и уже затем работать математическими методами.
Цитата Сообщение от echs Посмотреть сообщение
Пусть условно
Кошка - число 100. Ловит - 700. Мышку - 200.
Цитата Сообщение от osvald Посмотреть сообщение
Правильней писать Кошка - (100, х1, х2, ...) Ловит - (х11, ...,700, х22,...) Мышку - (200, х111,...), иксы известны. Это пространственные координаты. Видимо нужно будет ввести ограничения или найти стандартные фигуры соединяющие точки-слова в имеющий смысл выражения. По поводу падежей я думал о некой окресности, некоторой туманности близких точек, обозначающих одно слово в разных вариациях или просто близких по смыслу слов. Но конкретно сказать не могу, я забросил эту идею ради алфавитного базиса, но и тут у меня продвигается медленно. Если вас интересуют именно слова скажу всё что вспомню.
Добавлено через 10 минут
Собственно базисное пространство это пространство смысла. Допустим мы имеем точку в этом пространстве, и у нас есть точка отсчета полученная в ходе диалога, есть текущий смысл и смысл который нужно достигнуть, тогда мы различными методами ищем путь, например по принципу кратчайшего расстояния и обязательного прохождения узловых точек (известных слов), получаем последовательность слов, далее собеседник выдает свою последовательность, на основе которой мы определяем следующую целевую точку пространства смысла.
Изучая философию встречаешься с понятием категории - это некое общее качество присущее многим вещам (словам). Ввел его Аристотель, он говорит о 10 категориях, таких как: Количество, Качество, Пространство, Действие и другие. В новое время категории разрабатывались Кантом и Гегелем, думаю еще многими людьми. Однако полного списка категорий нет, нет базиса для создания пространства слов. Но тема довольно древняя и может быть уже можно что-то сделать.

Добавлено через 1 час 1 минуту
Это вообще популярное направление, есть множество сайтов толковых словарей, недавно мне попался сайт где заявленно:
KARTASLOV.RU — это онлайн-карта слов и выражений русского языка. Здесь связи между словами обретают осязаемую форму.
То есть тема перспективна не только для души, но и для заработка.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
12.04.2019, 16:27
Ответы с готовыми решениями:

Изобразить а в ортонормированном базисе [e] и косом базисе [b]
Задача:Изобразить а в ортонормированном базисе и косом базисе : b1={2,3,2} b2={-2,2,-2} b3={2,2,2}...

Найти матрицу А в базисе i,j и в базисе e1,e2
V2 - линейное пространство, А - оператор поворота на угол "фи" против часовой стрелки, найти его...

Получение количества товара к каждой из категорий с учетом дочерних категорий
Здравствуйте... у меня есть список категорий в таблице mod_catalog_cat типичные колонки:...

Выпадающее меню категорий, под категорий и под под категорий
Добрый день, прошу помощи Было так и всё работало, echo "<tr><td class=gray...

42
1104 / 480 / 33
Регистрация: 05.07.2018
Сообщений: 1,870
Записей в блоге: 7
12.04.2019, 17:40 2
Уважаемый osvald,
вы затронули связь слов. Это поистине удивительная тема в ИИ. Хочу привести ещё
маленький пример в подтверждение мною сказанного. Возьмём, в качестве базового
слова, слово "человек". Это слово связано со словами: "голова", "рука", "нога", "лицо",
"глаза", .... плюс ещё сотни других слов. То есть слово человек, является определяющим
целого множества слов, относящихся к человеку. Или иными словами, связанным со
словом человек.
Есть мнение, что если взять небольшое количество подобных слов (по разным оценкам
около 200), то это позволит описать все слова русского языка. Ведь любой естественный
язык может описать (определить) сам себя.
0
674 / 548 / 74
Регистрация: 20.09.2014
Сообщений: 3,567
13.04.2019, 06:09 3
Без конкретной задачи составление всяких карт бессмысленно. Ну появится еще одна карта слов. Почему она должна стать лучше существующих? Существующие наверняка решают какие-то проблемы. А эта новая?

Только так, для собственного развития. Но все равно надо задачу для себя какую-то поставить. А то я сейчас набросаю небольшую карту слов, прямо здесь в посте и попрошу покритиковать.

Задача понимания естественного языка не принимается, слишком размыто. Это не задача, а семейство задач. Следует конкретизировать, при чем конкретно и долго.

Другими словами, чего Вы хотите от карты слов?
0
1687 / 559 / 74
Регистрация: 10.04.2009
Сообщений: 9,180
15.04.2019, 06:38 4
странная эта карта слов, по ссылке выше, ввел вроде простое «идти в магазин», получил

Карта слова «идти в магазин»
Ассоциации со словом «идти в магазин»:
НЕТ АССОЦИАЦИЙ
Синонимы к слову «идти в магазин»:
НЕТ СИНОНИМОВ
0
1104 / 480 / 33
Регистрация: 05.07.2018
Сообщений: 1,870
Записей в блоге: 7
15.04.2019, 07:39 5
Уважаемый Ципихович Эндрю,
вы привели не совсем удачный пример. Почему?
1. само выражение "идти в магазин" означает в большинстве случаев не прогулку по магазинам,
а совершение покупки. То есть можно сказать и так "идти на рынок", "идти в универмаг" ... или
еще так "поехать в магазин"
2. при желании можно и не то сказать
0
-28 / 5 / 0
Регистрация: 26.02.2015
Сообщений: 297
03.03.2021, 09:15  [ТС] 6
Ещё можно использовать логику, она достаточно хорошо изучена. В логике мы имеем дело с фактами и операциями над ними. Собственно операций всего три: отрицание, логическое И и логическое ИЛИ. Отрицание факта есть ложь, то есть какой-то другой еще не сформулированный факт. Логическое И это выбор из двух фактов наименее достоверного. Логическое ИЛИ выбор наиболее достоверного факта.
Пусть у нас есть набор фактов F1,F2,F3 и о них утверждается, что !(F1|(F2&F3)). Это есть попытка высказать новое высказывание f4 (гипотетический факт). Нужно найти точку f4 в пространстве F1,F2,F3. Запишем так:
f4 = -(w1*F1>=(w2*F2<=w3*F3)), где F1=F2=F3=1, '-' это унарная операция отрицания, >= бинарная операция выбора большего, <= бинарная операция выбора меньшего.

Фактически логическое И подводит основу под высказываниями и объединяет их на этом основании, логическое ИЛИ выбирает наиболее правильное высказывание в заданном контексте, а отрицание говорит от том что не это высказывание имелось в виду.
Мне кажется, что манипулируя фактами с помощью логических операций мы словно переливаем сосуды, некая алхимия смысла, так операция >= берет из меньшего веса и добавляет в больший, в итоге мы получаем "смесь" (w1,w2,w3) в пространстве F1,F2,F3. Таким образом мы получаем гипотезу f4 которая после проверки становится фактом F4.
0
1687 / 559 / 74
Регистрация: 10.04.2009
Сообщений: 9,180
03.03.2021, 13:14 7
fintot,
это всё лирика, есть код желательно на Питоне, чтобы опробовать?
0
1017 / 1905 / 178
Регистрация: 07.05.2013
Сообщений: 3,931
Записей в блоге: 12
03.03.2021, 13:35 8
Цитата Сообщение от Ципихович Эндрю Посмотреть сообщение
странная эта карта слов, по ссылке выше, ввел вроде простое «идти в магазин», получил
Ввел то же самое, наоборот, накидало кучу всякой ерунды...

Цитата Сообщение от Ципихович Эндрю Посмотреть сообщение
это всё лирика, есть код желательно на Питоне, чтобы опробовать?
Чтобы опробовать что?
0
1687 / 559 / 74
Регистрация: 10.04.2009
Сообщений: 9,180
03.03.2021, 13:40 9
Цитата Сообщение от vantfiles Посмотреть сообщение
Чтобы опробовать что
лирическое сообщение из поста предыдущего оратора
0
1017 / 1905 / 178
Регистрация: 07.05.2013
Сообщений: 3,931
Записей в блоге: 12
03.03.2021, 13:45 10
Впрочем, если хотите поиграть с ассоциациями, есть два вот таких забавных ресурса с датасетами:

https://github.com/dkulagin/ka... aset/assoc
https://sociation.org/

Добавлено через 2 минуты
Цитата Сообщение от Ципихович Эндрю Посмотреть сообщение
лирическое сообщение из поста предыдущего оратора
Нашёл следующие краткие сведения:
«СЕПУЛЬКИ — важный элемент цивилизации ардритов (см.) с планеты Энтеропия (см.). См. СЕПУЛЬКАРИИ».
Я последовал этому совету и прочёл:
«СЕПУЛЬКАРИИ — устройства для сепуления (см.)».
Я поискал «Сепуление»; там значилось:
«СЕПУЛЕНИЕ — занятие ардритов (см.) с планеты Энтеропия (см.). См. СЕПУЛЬКИ».
Станислав Лем
0
674 / 548 / 74
Регистрация: 20.09.2014
Сообщений: 3,567
03.03.2021, 19:48 11
Цитата Сообщение от fintot Посмотреть сообщение
Мне кажется, что манипулируя фактами с помощью логических операций мы словно переливаем сосуды, некая алхимия смысла
Не совсем. Алхимией является экстракция функции из конечного числа числовых значений (аппроксимация в машинном обучении). А вы предлагаете откуда-то взять функцию и переливать через нее некие числа. Смысла это не лишено, но это не алхимия, так как функция неизвестна (=золотой квинтэссенции нет). То есть, если вы возьмете текст, то функция для него будет неизвестна...
0
-28 / 5 / 0
Регистрация: 26.02.2015
Сообщений: 297
03.11.2021, 08:55  [ТС] 12
Если рассматривать слово как точку в пространстве категорий, то появляется возможность подавать его на вход нейронной сети, поскольку каждому слову будет соответствовать одна размерность координат. Допустим это обучаемая нейронная сеть, то есть она меняется в процессе распознавания, тогда можно подать любой текст разбитый на слова на вход этой сети и после последнего слова текста мы получим реакцию системы на текст в целом.
Допусти мы говорим о персонаже игры. Игрок говорит ему некую фразу, а персонаж реагирует на неё неким уникальным способом зависящим как от содержания фразы, так и от состояния в котором находился персонаж.
0
1687 / 559 / 74
Регистрация: 10.04.2009
Сообщений: 9,180
03.11.2021, 09:09 13
Цитата Сообщение от fintot Посмотреть сообщение
то появляется возможность
ну и гут!!
и?
0
-28 / 5 / 0
Регистрация: 26.02.2015
Сообщений: 297
03.11.2021, 09:23  [ТС] 14
Я пишу молодым, для меня эта работа уже неактуальна, не вижу как ИИ может реально помочь нам дикарям, скорее создаст новые трудности.
И всё же есть надежда что ИИ будет использован правильно). Впрочем наша история говорит об обратном.
Что касается непосредственно моего предложения, то все не так просто, нужно правильно выбрать категории, а потом разложить по ним сотни тысяч слов, это работа для ОЧЕНЬ трудолюбивых людей.

Добавлено через 4 минуты
Еще это может быть система анализа текста, что актуально в связи с обилием графоманов. Система определяет наколько текст оригинален и важен - это окупаемо.
0
1687 / 559 / 74
Регистрация: 10.04.2009
Сообщений: 9,180
03.11.2021, 09:54 15
Цитата Сообщение от fintot Посмотреть сообщение
Я пишу молодым
такой и есть.....
похоже ТСу уже не до темы, продолжу.....
если есть текст
txt = 'заведомо незаконных приказа или распоряжения'
то текст
заведомо незаконный приказ
заведомо незаконное распоряжение
вытекает из txt и это понимает юзер начиная с 3-го класса........
как это машине пояснить в этом и похожих случаях?
0
-28 / 5 / 0
Регистрация: 26.02.2015
Сообщений: 297
03.11.2021, 11:18  [ТС] 16
Незаконное не значит невозможное, и машина и человек может выполнить то что возможно.
Вы говорите о этике, это большое дело, сделать машину сознающей себя, моральным, "духовным" существом. Впрочем я как философ утверждаю что мораль непротиворечива, но очень сложна, запрограммировать мораль не удастся хотя бы потому что она еще не формализированна, просто часто не знаем что хорошо, а что вредно. Мораль это опыт человечества и мы еще не доросли даже до непротиворечивого закона. Вам нужно изучать право и привести какое-нибудь законодательство к законченному виду. Но есть теорема Геделя о полных системах, они противоречивы, и все что выможете сделать - это рандом. Как вы сами считаете может быть закон непротиворечив? Отсюда и пляшите...

Добавлено через 13 минут
А вообще есть список противозаконных дел и если приказ подпадает под него машина просто игнорирует приказ.
0
1687 / 559 / 74
Регистрация: 10.04.2009
Сообщений: 9,180
03.11.2021, 11:18 17
Цитата Сообщение от Ципихович Эндрю Посмотреть сообщение
и похожих случаях
это же было для примера
0
-28 / 5 / 0
Регистрация: 26.02.2015
Сообщений: 297
03.11.2021, 11:35  [ТС] 18
Придется формализировать закон
0
1017 / 1905 / 178
Регистрация: 07.05.2013
Сообщений: 3,931
Записей в блоге: 12
03.11.2021, 12:13 19
Гольдберг Й. - Нейросетевые методы в обработке естественного языка - 2019

"Миколов с коллегами [Mikolov et al., 2013a, Mikolov et al., 2013] сделали интересное
наблюдение, которое немало способствовало популярности погружений слов: над
векторами слов можно производить «алгебраические операции», получая осмысленные
результаты. Например, имея погружения слов, обученные алгоритмом
Word2Vec, можно взять вектор слова king (король), вычесть из него слово man
(мужчина), прибавить слово woman (женщина), и оказывается, что вектором, бли-
жайшим к результату (если исключить слова king, man и woman), будет вектор,
ассоциированный со словом queen (королева)."
0
1687 / 559 / 74
Регистрация: 10.04.2009
Сообщений: 9,180
03.11.2021, 12:20 20
Цитата Сообщение от fintot Посмотреть сообщение
философ
номер раз
vantfiles Вы тоже?
что-то в коде воплощённое есть?
0
03.11.2021, 12:20
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
03.11.2021, 12:20
Помогаю со студенческими работами здесь

Дешифратор в базисе И-НЕ
Будте так любезны помогите составить схему дешифратора на логический элементах И-НЕ. (мотреть...

Синтезировать в базисе И-НЕ
Здравствуйте! Прошу проверить правильно ли у меня приведено к нужной форме. По заданию нужно...

Построить вектора в базисе
Здравствуйте...Учусь на заочке и в основном самообучением. Вот не могу понять как решить задачу:...

В стандартном базисе пространства R3
В стандартном базисе пространства {R}^{3} , найдите матрицу оператора L, если L(\nu ) = (a,b)b -...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
Это работает. Скорость асинхронной логики велика. Вопрос видимо останется в стабильности. Плата - огонь!
Hrethgir 13.01.2025
По прошлому проекту в Logisim Evolution прилагаю файл архива проекта Gowin Eda и снимок. Восьмибитный счётчик из сумматора+ генератор сигнала согласования+ стартер fast регистров. Файлы прилагаю. . . .
UserScript для подсветки кнопок языков программировани­­­­я в зависимости от текущего раздела
volvo 13.01.2025
В результате работы этого скрипта подсвечиваются нужные кнопки не только в форме быстрого ответа, но и при редактировании сообщения: / / ==UserScript== / / @name CF_DefaultLangSelect / / . . .
Введение в модели и алгоритмы машинного обучения
InfoMaster 12.01.2025
Машинное обучение представляет собой одну из наиболее динамично развивающихся областей искусственного интеллекта, которая фокусируется на разработке алгоритмов и методов, позволяющих компьютерам. . .
Как на Python создать нейросеть для решения задач
InfoMaster 12.01.2025
В контексте стремительного развития современных технологий особое внимание уделяется таким инструментам, как нейросети. Эти структуры, вдохновленные биологическими нейронными сетями, используются для. . .
Как создать нейросеть для генерации картинок на Python
InfoMaster 12.01.2025
Генерация изображений с помощью искусственных нейронных сетей стала одним из наиболее захватывающих направлений в области компьютерного зрения и машинного обучения. В этой статье мы рассмотрим. . .
Создание нейросети для генерации текста на Python
InfoMaster 12.01.2025
Нейросети, или искусственные нейронные сети, представляют собой модели машинного обучения, вдохновленные работой человеческого мозга. Они состоят из множества взаимосвязанных узлов, или "нейронов",. . .
Как создать нейросеть распознавания изображений на Python
InfoMaster 12.01.2025
Введение в распознавание изображений с помощью нейросетей Распознавание изображений с помощью нейронных сетей стало одним из самых впечатляющих достижений в области искусственного интеллекта. Эта. . .
Основы искуственного интеллекта
InfoMaster 12.01.2025
Искусственный интеллект (ИИ) представляет собой одну из наиболее динамично развивающихся областей современной науки и технологий. В широком смысле под искусственным интеллектом понимается способность. . .
Python и нейросети
InfoMaster 12.01.2025
Искусственные нейронные сети стали неотъемлемой частью современных технологий, революционизировав множество областей - от медицинской диагностики до автономных транспортных средств. Python, благодаря. . .
Python в машинном обучении
InfoMaster 12.01.2025
Python стал неотъемлемой частью современного машинного обучения, завоевав позицию ведущего языка программирования в этой области. Его популярность обусловлена несколькими ключевыми факторами, которые. . .
Создание UI на Python с TKinter
InfoMaster 12.01.2025
TKinter — это одна из наиболее популярных библиотек для создания графических интерфейсов пользователей (GUI) в языке программирования Python. TKinter входит в стандартную библиотеку Python, что. . .
HTML5 в разработке мобильных приложений
InfoMaster 12.01.2025
Введение: Обзор роли HTML5 в мобильной разработке В современном мире мобильных технологий HTML5 стал ключевым инструментом для разработки кроссплатформенных приложений. Эта технология произвела. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru