Бот-модератор пропускает символы в комментариях

@Stepper · Регистрация: 13.02.2023

Author24 — интернет-сервис помощи студентам

Бот-модератор удаляет комментарии при совпадении слов в словаре. Однако, пропускает спам-комментарии с указанными ниже символами в словах. Их добавление в словарь не помогает.
Подскажите, что это за символы в словах и как с ними бороться?

"ρᴀсπροсτpaняйтe", "эτи", "ужacныᧉ", "κᴀдpы", "вᴏ," "евpᴏпейcᴋuх", "чτoбы", "видeлu", "ᴋοмy", "πᴏмᴏгᴀюꚍ", "тбиτыe", "πᴏймали", "πᴏльсᴋyю", "нᴀᧉмнuцy", "жᧉсꚍκᴏ", "нᧉй", "пᴩедвᴀρuтельнο", "вывeзя", "лᧉс", "Οнᴀ", "κτo", "таᴋиᧉ", "уκpᴏпы", "сᴀмᴏм", "дeлᧉ", "связывaꚍься", "быcτρᴏ", "ρазлᧉτeлuсь", "тᧉлeгρаму", "пoсмοтρeτь", "бᧉз", "цᧉнзγpы", "тγꚍ", "ᴏ", "τ", "Сᴩᴏчнᴏ", "pᴀсπρoсτpaнuтe", "эτи", "ужᴀсные", "ᴋaдpы", "ᧉx", "евρoпᧉйcких", "Oꚍбиꚍыe", "пᴏймᴀли", "πᴏльсκую", "наeмницγ", "жеcꚍκο", "надpγгᴀлuсь", "пpᧉдвapительнο", "вывᧉзя", "лᧉс", "uзбuв", "зналᴀ", "ктo", "ꚍaκиᧉ", "укρoπы", "cамoм", "дeле", "нuмu", "связываꚍься", "Kадpы", "бысτᴩᴏ", "pᴀзлᧉτᧉлись", "πᴏ", "вcᧉмy", "ꚍᧉлегρамy", "Пοcмᴏτpᧉꚍь", "цензyᴩы", "Эτa", "сᴋaꚍuнᴀ", "пοймᴀна", "нашuмu", "бᴏйцами", "пᴩи", "шꚍγᴩме", "γκρᧉπᴀ"

@kazak · 16.10.2023, 22:09

Сообщение от Stepper

Подскажите, что это за символы

Буквы других алфавитов, я как миниму узнал греческие омикрон, тау, гамма, но не исключено, что есть буквы и из других алфавитов.

Сообщение от Stepper

и как с ними бороться?

Подозреваю могут помочь специальные либы для обработки текста, у меня в этой области мало опыта, про либы не расскажу.
Варианты для начинающих:
1) для длинных слов можно применить нечеткий поиск вместо прямого сравнения, гуглите "расстояние левенштейна"
2) составить словарь для русского алфавита, где для каждой буквы сопоставить список с похожими буквами из других алфавитов, далее первым шагом преобразуем исходный текст к одному алфавиту, вторым шагом ищем совпадения слов. В качестве второго шага можно использовать первый вариант с нечетким поиском.

@ARTURK16 · 17.10.2023, 00:40

Сообщение от Stepper

как с ними бороться?
"ρᴀсπροсτpaняйтe", "эτи", "ужacныᧉ", "κᴀдpы", "вᴏ," "евpᴏпейcᴋuх", "чτoбы", "видeлu", "ᴋοмy", "πᴏмᴏгᴀюꚍ", "тбиτыe", "πᴏймали", "πᴏльсᴋyю", "нᴀᧉмнuцy", "жᧉсꚍκᴏ", "нᧉй", "пᴩедвᴀρuтельнο", "вывeзя", "лᧉс", "Οнᴀ", "κτo", "таᴋиᧉ", "уκpᴏпы", "сᴀмᴏм", "дeлᧉ", "связывaꚍься", "быcτρᴏ", "ρазлᧉτeлuсь", "тᧉлeгρаму", "пoсмοтρeτь", "бᧉз", "цᧉнзγpы", "тγꚍ", "ᴏ", "τ", "Сᴩᴏчнᴏ", "pᴀсπρoсτpaнuтe", "эτи", "ужᴀсные", "ᴋaдpы", "ᧉx", "евρoпᧉйcких", "Oꚍбиꚍыe", "пᴏймᴀли", "πᴏльсκую", "наeмницγ", "жеcꚍκο", "надpγгᴀлuсь", "пpᧉдвapительнο", "вывᧉзя", "лᧉс", "uзбuв", "зналᴀ", "ктo", "ꚍaκиᧉ", "укρoπы", "cамoм", "дeле", "нuмu", "связываꚍься", "Kадpы", "бысτᴩᴏ", "pᴀзлᧉτᧉлись", "πᴏ", "вcᧉмy", "ꚍᧉлегρамy", "Пοcмᴏτpᧉꚍь", "цензyᴩы", "Эτa", "сᴋaꚍuнᴀ", "пοймᴀна", "нашuмu", "бᴏйцами", "пᴩи", "шꚍγᴩме", "γκρᧉπᴀ"

Ты добавляешь их именно скопировав, а фильтр их все равно пропускает? Фильтр вообще работает на обычных ругательствах?

@Stepper · 17.10.2023, 08:21 **[ТС]**

Сообщение от ARTURK16

Фильтр вообще работает на обычных ругательствах?

Да, отлично работает. А вот эти комментарии пропускает.

@ARTURK16 · 17.10.2023, 11:03

Сообщение от Stepper

Да, отлично работает. А вот эти комментарии пропускает.

вся соль этого на первый взгляд в том что бот не умеет работать или со словами из разных букв или вовсе кроме анг и русских знаков не фильтрует...

@Welemir1 · 17.10.2023, 11:32

Stepper, нормальный чел не вставляет в свои слова символы других алфавитов, уж точно не греческие, латиница еще ладно. Потому - для латиницы словарь сравнения букв, для остальных букв -сразу мут и удаление сообщения

Добавлено через 14 секунд
говорю как админ телеграм чата

@ARTURK16 · 17.10.2023, 12:17

Вы можете использовать модуль re в Python (если бот на Python) для проверки, содержит ли строка только символы из английского и русского алфавитов. Например, вы можете использовать следующее регулярное выражение: ^[a-zA-Zа-яА-Я]+$. Если строка не соответствует этому шаблону, то она содержит символы, не относящиеся к указанным алфавитам.

@OwenGlendower · 17.10.2023, 14:10

Сообщение от ARTURK16

апример, вы можете использовать следующее регулярное выражение: ^[a-zA-Zа-яА-Я]+$

Кажется тут буква ё пострадает. По моему надо так - а-яёА-ЯЁ.

@ARTURK16 · 17.10.2023, 16:24

Сообщение от OwenGlendower

Кажется тут буква ё пострадает. По моему надо так - а-яёА-ЯЁ.

Гулять так гулять, добавим еще и цифры)) вот примерно с этого можно начать например:

Python

import re
 
def check_alphabet(string):
    pattern = r'^[a-zA-Zа-яА-ЯёЁ0-9]+$'
    if re.match(pattern, string):
        return True
    else:
        return False

@Usaga · 19.10.2023, 08:27

ARTURK16, ещё пунктуацию не забыть, скобки-кавычки, математические операторы, разные $%, смайлики-эмоджи...

@ARTURK16 · 19.10.2023, 11:21

Сообщение от Usaga

ещё пунктуацию не забыть, скобки-кавычки, математические операторы, разные $%, смайлики-эмоджи...

может мы брутальные ребята и не признаем всякие кавычки и смайлики

@Stepper · 19.10.2023, 20:50 **[ТС]**

Вообще странно: за последнюю неделю бот стал пропускать комментарии даже с теми стоп-словами, которые есть в словаре: личку, видосики и т.д. Такие комментарии появляются через секунду после публикации.

@ARTURK16 · 19.10.2023, 22:35

Сообщение от Stepper

через секунду после публикации

через публикацию чего?
а так вот слово "личкy" написал чере игрик, в видосиках можно "ос" на английском написать... Нужно твоему боту гибридные слова запретить когда в одном слове разные языки есть

@Stepper · 19.10.2023, 22:45 **[ТС]**

Сообщение от ARTURK16

через публикацию чего?

публикация в телеграм-канале. это бот, не получается его забанить

Сообщение от ARTURK16

написал чере игрик

в словаре есть несколько вариантов написания.
запретить гибриды - это через модуль re?

@ARTURK16 · 19.10.2023, 22:59

Сообщение от Stepper

это через модуль re?

как вариант

@ARTURK16 Нарушитель 98 / 76 / 30 Регистрация: 10.05.2023 Сообщений: 312
	19.10.2023, 22:59	15
	Сообщение от Stepper это через модуль re? как вариант 0

Блоги программистов
Как перейти с Options API на Composition API в Vue.js BasicMan 06.01.2025 Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .	Архитектура современных процессоров inter-admin 06.01.2025 Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .	История создания реляционной модели баз данных, правила Кодда Programming 06.01.2025 Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .	Полезные поделки на Arduino, которые можно сделать самому raxper 06.01.2025 Arduino как платформа для творчества Arduino представляет собой удивительную платформу для технического творчества, которая открывает безграничные возможности для создания уникальных проектов. Эта. . .	Подборка решений задач на Python IT_Exp 06.01.2025 Целью данной подборки является предоставление возможности ознакомиться с различными задачами и их решениями на Python, что может быть полезно как для начинающих, так и для опытных программистов. . . .	С чего начать программировать микроконтроллеры raxper 06.01.2025 Введение в мир микроконтроллеров Микроконтроллеры стали неотъемлемой частью современного мира, окружая нас повсюду: от простых бытовых приборов до сложных промышленных систем. Эти маленькие. . .
Из чего собрать игровой компьютер inter-admin 06.01.2025 Сборка игрового компьютера требует особого внимания к выбору комплектующих и их совместимости. Правильно собранный игровой ПК не только обеспечивает комфортный геймплей в современных играх, но и. . .	Обновление сайта www.historian.by Reglage 05.01.2025 Обещал подвести итоги 2024 года для сайта. Однако начну с того, что изменилось за неделю. Добавил краткий урок по последовательности действий при анализе вредоносных файлов и значительно улучшил урок. . .	Как использовать GraphQL в C# с HotChocolate Programming 05.01.2025 GraphQL — это современный подход к разработке API, который позволяет клиентам запрашивать только те данные, которые им необходимы. Это делает взаимодействие с API более гибким и эффективным по. . .	Модель полного двоичного сумматора с помощью логических операций (python) AlexSky-coder 04.01.2025 def binSum(x:list, y:list): s=^y] p=x and y for i in range(1,len(x)): s. append((x^y)^p) p=(x and y)or(p and (x or y)) return s x=list() y=list()	Это мы не проходили, это нам не задавали...(асихронный счётчик с управляющим сигналом задержки). Hrethgir 04.01.2025 Асинхронный счётчик на сумматорах (шестиразрядный по числу диодов на плате, но наверное разрядов будет больше - восемь или шестнадцать, а диоды на старшие), так как триггеры прошли тестирование и. . .	Руководство по созданию бота для Телеграм на Python IT_Exp 04.01.2025 Боты для Телеграм представляют собой автоматизированные программы, которые выполняют различные задачи, взаимодействуя с пользователями через интерфейс мессенджера. В данной статье мы рассмотрим,. . .

@Stepper 0 / 0 / 0 Регистрация: 13.02.2023 Сообщений: 59
		1
	Telegram Bot Бот-модератор пропускает символы в комментариях 16.10.2023, 20:19. Показов 740. Ответов 14 Метки бот, модерация, телеграм (Все метки) Бот-модератор удаляет комментарии при совпадении слов в словаре. Однако, пропускает спам-комментарии с указанными ниже символами в словах. Их добавление в словарь не помогает. Подскажите, что это за символы в словах и как с ними бороться? "ρᴀсπροсτpaняйтe", "эτи", "ужacныᧉ", "κᴀдpы", "вᴏ," "евpᴏпейcᴋuх", "чτoбы", "видeлu", "ᴋοмy", "πᴏмᴏгᴀюꚍ", "тбиτыe", "πᴏймали", "πᴏльсᴋyю", "нᴀᧉмнuцy", "жᧉсꚍκᴏ", "нᧉй", "пᴩедвᴀρuтельнο", "вывeзя", "лᧉс", "Οнᴀ", "κτo", "таᴋиᧉ", "уκpᴏпы", "сᴀмᴏм", "дeлᧉ", "связывaꚍься", "быcτρᴏ", "ρазлᧉτeлuсь", "тᧉлeгρаму", "пoсмοтρeτь", "бᧉз", "цᧉнзγpы", "тγꚍ", "ᴏ", "τ", "Сᴩᴏчнᴏ", "pᴀсπρoсτpaнuтe", "эτи", "ужᴀсные", "ᴋaдpы", "ᧉx", "евρoпᧉйcких", "Oꚍбиꚍыe", "пᴏймᴀли", "πᴏльсκую", "наeмницγ", "жеcꚍκο", "надpγгᴀлuсь", "пpᧉдвapительнο", "вывᧉзя", "лᧉс", "uзбuв", "зналᴀ", "ктo", "ꚍaκиᧉ", "укρoπы", "cамoм", "дeле", "нuмu", "связываꚍься", "Kадpы", "бысτᴩᴏ", "pᴀзлᧉτᧉлись", "πᴏ", "вcᧉмy", "ꚍᧉлегρамy", "Пοcмᴏτpᧉꚍь", "цензyᴩы", "Эτa", "сᴋaꚍuнᴀ", "пοймᴀна", "нашuмu", "бᴏйцами", "пᴩи", "шꚍγᴩме", "γκρᧉπᴀ" 0

@kazak 3567 / 2714 / 348 Регистрация: 11.03.2009 Сообщений: 6,249
	16.10.2023, 22:09	2
	Сообщение от Stepper Подскажите, что это за символы Буквы других алфавитов, я как миниму узнал греческие омикрон, тау, гамма, но не исключено, что есть буквы и из других алфавитов. Сообщение от Stepper и как с ними бороться? Подозреваю могут помочь специальные либы для обработки текста, у меня в этой области мало опыта, про либы не расскажу. Варианты для начинающих: 1) для длинных слов можно применить нечеткий поиск вместо прямого сравнения, гуглите "расстояние левенштейна" 2) составить словарь для русского алфавита, где для каждой буквы сопоставить список с похожими буквами из других алфавитов, далее первым шагом преобразуем исходный текст к одному алфавиту, вторым шагом ищем совпадения слов. В качестве второго шага можно использовать первый вариант с нечетким поиском. 1

@ARTURK16 Нарушитель 98 / 76 / 30 Регистрация: 10.05.2023 Сообщений: 312
	17.10.2023, 00:40	3
	Сообщение от Stepper как с ними бороться? "ρᴀсπροсτpaняйтe", "эτи", "ужacныᧉ", "κᴀдpы", "вᴏ," "евpᴏпейcᴋuх", "чτoбы", "видeлu", "ᴋοмy", "πᴏмᴏгᴀюꚍ", "тбиτыe", "πᴏймали", "πᴏльсᴋyю", "нᴀᧉмнuцy", "жᧉсꚍκᴏ", "нᧉй", "пᴩедвᴀρuтельнο", "вывeзя", "лᧉс", "Οнᴀ", "κτo", "таᴋиᧉ", "уκpᴏпы", "сᴀмᴏм", "дeлᧉ", "связывaꚍься", "быcτρᴏ", "ρазлᧉτeлuсь", "тᧉлeгρаму", "пoсмοтρeτь", "бᧉз", "цᧉнзγpы", "тγꚍ", "ᴏ", "τ", "Сᴩᴏчнᴏ", "pᴀсπρoсτpaнuтe", "эτи", "ужᴀсные", "ᴋaдpы", "ᧉx", "евρoпᧉйcких", "Oꚍбиꚍыe", "пᴏймᴀли", "πᴏльсκую", "наeмницγ", "жеcꚍκο", "надpγгᴀлuсь", "пpᧉдвapительнο", "вывᧉзя", "лᧉс", "uзбuв", "зналᴀ", "ктo", "ꚍaκиᧉ", "укρoπы", "cамoм", "дeле", "нuмu", "связываꚍься", "Kадpы", "бысτᴩᴏ", "pᴀзлᧉτᧉлись", "πᴏ", "вcᧉмy", "ꚍᧉлегρамy", "Пοcмᴏτpᧉꚍь", "цензyᴩы", "Эτa", "сᴋaꚍuнᴀ", "пοймᴀна", "нашuмu", "бᴏйцами", "пᴩи", "шꚍγᴩме", "γκρᧉπᴀ" Ты добавляешь их именно скопировав, а фильтр их все равно пропускает? Фильтр вообще работает на обычных ругательствах? 0

@Stepper 0 / 0 / 0 Регистрация: 13.02.2023 Сообщений: 59
	17.10.2023, 08:21 [ТС]	4
	Сообщение от ARTURK16 Фильтр вообще работает на обычных ругательствах? Да, отлично работает. А вот эти комментарии пропускает. 0

@ARTURK16 Нарушитель 98 / 76 / 30 Регистрация: 10.05.2023 Сообщений: 312
	17.10.2023, 11:03	5
	Сообщение от Stepper Да, отлично работает. А вот эти комментарии пропускает. вся соль этого на первый взгляд в том что бот не умеет работать или со словами из разных букв или вовсе кроме анг и русских знаков не фильтрует... 0

@Welemir1 Автоматизируй это! 7209 / 4703 / 1224 Регистрация: 30.03.2015 Сообщений: 13,408 Записей в блоге: 29
	17.10.2023, 11:32	6
	Stepper, нормальный чел не вставляет в свои слова символы других алфавитов, уж точно не греческие, латиница еще ладно. Потому - для латиницы словарь сравнения букв, для остальных букв -сразу мут и удаление сообщения Добавлено через 14 секунд говорю как админ телеграм чата 2

@ARTURK16 Нарушитель 98 / 76 / 30 Регистрация: 10.05.2023 Сообщений: 312
	17.10.2023, 12:17	7
	Вы можете использовать модуль re в Python (если бот на Python) для проверки, содержит ли строка только символы из английского и русского алфавитов. Например, вы можете использовать следующее регулярное выражение: ^[a-zA-Zа-яА-Я]+$. Если строка не соответствует этому шаблону, то она содержит символы, не относящиеся к указанным алфавитам. 1

@OwenGlendower Администратор 17712 / 13839 / 5313 Регистрация: 17.03.2014 Сообщений: 28,346 Записей в блоге: 1
	17.10.2023, 14:10	8
	Сообщение от ARTURK16 апример, вы можете использовать следующее регулярное выражение: ^[a-zA-Zа-яА-Я]+$ Кажется тут буква `ё` пострадает. По моему надо так - `а-яёА-ЯЁ`. 0

@Usaga 12557 / 8726 / 1311 Регистрация: 21.01.2016 Сообщений: 32,738
	19.10.2023, 08:27	10
	ARTURK16, ещё пунктуацию не забыть, скобки-кавычки, математические операторы, разные $%, смайлики-эмоджи... 0

@ARTURK16 Нарушитель 98 / 76 / 30 Регистрация: 10.05.2023 Сообщений: 312
	19.10.2023, 11:21	11
	Сообщение от Usaga ещё пунктуацию не забыть, скобки-кавычки, математические операторы, разные $%, смайлики-эмоджи... может мы брутальные ребята и не признаем всякие кавычки и смайлики 0

@Stepper 0 / 0 / 0 Регистрация: 13.02.2023 Сообщений: 59
	19.10.2023, 20:50 [ТС]	12
	Вообще странно: за последнюю неделю бот стал пропускать комментарии даже с теми стоп-словами, которые есть в словаре: личку, видосики и т.д. Такие комментарии появляются через секунду после публикации. Миниатюры 0

@ARTURK16 Нарушитель 98 / 76 / 30 Регистрация: 10.05.2023 Сообщений: 312
	19.10.2023, 22:35	13
	Сообщение от Stepper через секунду после публикации через публикацию чего? а так вот слово "личкy" написал чере игрик, в видосиках можно "ос" на английском написать... Нужно твоему боту гибридные слова запретить когда в одном слове разные языки есть 1

@Stepper 0 / 0 / 0 Регистрация: 13.02.2023 Сообщений: 59
	19.10.2023, 22:45 [ТС]	14
	Сообщение от ARTURK16 через публикацию чего? публикация в телеграм-канале. это бот, не получается его забанить Сообщение от ARTURK16 написал чере игрик в словаре есть несколько вариантов написания. запретить гибриды - это через модуль re? 0