@OdessaNA

Здравствуйте.
Ребята, подскажите пожалуйста, какие инструменты (без привязки к языкам программирования) можно применить для определения того, что введенные символы являются словом, а не бессмысленным набором символов "влдатдукывта вызвтк".
Перебор заготовленных ранее словарей не является решением задачи.
И ещё один вопрос. Можно ли здесь использовать Теорию вероятностей?

0

@DeadPenguin

Почему?

Вы хотите найти те комбинации символов, которые будут очень похожи на реальные слова языка?

0

@OdessaNA

Вы знаете, вот к этому варианту решения я пока больше всего и склоняюсь.
Но есть же и другие способы решения задачи?
))) такое условие задачи.

0

@DeadPenguin

OdessaNA, просто без словарей сам вопрос не имеет особого смысла. Конечно, вы можете описать слова русского языка какими-то правилами (вот тут суффикс, вот тут приставка, это идёт за этим), но это заведомо не охватывает ВСЕ слова (как минимум заимствования) и уж точно не охватывает неологизмы — а, как я понял, вы на них и нацелены.

Так как я не специалист в лингвистике, то я бы пошёл по топорному пути — реализовал бы генетический алгоритм, который формирует новые слова из имеющихся, сравнивая результаты со словарём и отбрасывая заведомо не-слова (например, некоторые наборы букв подряд не встречаются ни в одном слове русского языка).

Если на форуме есть специалисты по нейронным сетям — я думаю, им тоже есть что сказать

0

@klopik

Если нет перебора словаря, то можно создать алгоритмы, например, проанализировав те же словари, но их результат все равно будет сугубо вероятностным, т.к. всегда можно будет придумать странное слово, которое алгоритм пропустит (т.е. похожее на настоящее, но которого нет), и есть неплохой риск отфильтровать нормальные слова, которые являются специфичными и встречаются редко.

1

@Mikhaylo

Зачем какой-то интеллект для этой задачи? Интеллект будет долго обучаться. Между тем мы уже можем быстро сформулировать несколько правил.

Я бы лучше решил противоположную задачу, я бы доказывал, что набор букв - это не слово.
Например, предлагаю очень простой алгоритм: если идет три и более подряд гласных или согласных - считать набор букв "несловом". Еще можно зацепиться за буквы ь, ы, ъ - они тоже плохо сочетаются с гласными и некоторыми согласными... Любой алгоритм, в том числе словарный алгоритм, не смогут достичь 100% надежности. Зато предлагаемый метод - простой как пень.

Теория вероятностей (точнее лингвистическая статистика) тоже может давать неплохие оценки, на мой взгляд. Буква "ы" не может часто попадаться. А лучше конечно анализировать сочетания букв, например, "ый" может встречаться часто, чаще чем другие сочетания с буквой "ы".

1

@Shamil1

Перебор заготовленных ранее словарей является единственным возможным решением данной задачи.

Видимо, Вам нужно решение какой-то другой задачи.
И не забудьте сформулировать, что в рамках Вашей задачи является "словом".
Например, "эйафьятлайокудль" является словом русского языка.

Добавлено через 2 минуты
И "lisp", "c#" - тоже нельзя отнести к "бессмысленным наборам символов".

1

@OdessaNA

Да, перебор заготовленных ранее словарей - лучшее решение (тем более, что предметная область ограничивает количество возможных вариантов).
Но в том-то и заключается сложность этой задачи - вариант со словарями, как решение, не рассматривается.
По вопросу формулировки. Могут быть использованы только имена существительные без специальных символов.

0

@Shamil1

Решения нет при подобной формулировке. Не существует способа (кроме сравнения со словарём) определить, какое из двух слов "клод" и "клад" (или "слон" и "слан") является словом, а какое бессмысленным набором букв.

1

@Mikhaylo

Топикстартер намеренно приводил пример другого характера:
Хочу обратить внимание, предлагаемый мною простейший алгоритм четко обработал бы этот пример, но не справился бы с КЛОД-КЛАД, СЛОН-СЛАН.

И еще хочу обратить внимание: что "мой" алгоритм и алгоритм, основанный на лингвистической статистике, являются разновидностью словарного алгоритма. Например, в моем алгоритме имеется "словарь" гласных и согласных букв.

P.S. Я бы поставил не менее востребованную практическую задачу: определить по имени пользователя, является ли он спам-ботом?
Примерный список:
А вот типичные имена спам-ботов:
Необязательно должен получиться результат со 100 % надежностью. Цель - облегчить отсеивание спам-ботов для администратора форума.

1

@OdessaNA

Конечно же о 100% речь идти не может. В любом случае есть процент погрешности. Моя задача и заключается в том, чтобы выработать механизм с наименьшим процентом погрешности.

0

@Mikhaylo

Нужно определить баланс между размером словаря и качеством фильтрации.

1

@Shamil1

Если есть набор букв, построенный с учётом фонетики русского языка, то вероятность примерно 50%. Больше для более коротких слов, меньше для более длинных. 50% Вас устраивает?

Если Вы просто ищете наборы букв, которые выглядят и звучат как слово русского языка (и Вам всё равно, есть ли у этого набора букв смысл), то это совсем другая задача. И у этой задачи есть простое решение, основанное на статистике.

Добавлено через 7 минут
"клод" - это тоже бессмысленный набор символов, как и "влдатдукывта вызвтк"
"клад" - это тоже слово, как и "эйафьятлайокудль"

В задаче написано "бессмысленный набор символов" и ничего про "благозвучный набор символов" и т.п.
Конечно, многие отвечают в стиле "автор просит одно, но мне лучше знать, что ему надо, поэтому я отвечу про другое" (и часто угадывают), но у меня нет желания гадать.

1

@Mikhaylo

А это искусство такое - понять, что хочет заказчик...

0

@VTsaregorodtsev

Если бы задача была для достаточно длинного текста (а не слова или, максимум, короткого предложения) - то я бы предложил сравнение частоты встречаемости букв во введённом тексте и "в среднем" в текстах нужного языка. Либо - сравнение матриц переходных вероятностей (от буквы к букве) в марковских цепях.
Т.е. на вопрос из стартового поста о применении теории вероятности - да, считаете частоты или вероятности и проверяете статистические гипотезы о равенстве или различии частот либо вероятностей.

А для слова - только словарь, может, с проверкой-коррекцией возможных опечаток (расстояние Левенштейна).

1