Про логирование и мониторинг

@alhaos · Регистрация: 20.02.2019

Author24 — интернет-сервис помощи студентам

Доброго дня уважаемые.

Хочу посоветоваться, я написал не очень большое приложение по разбору файлов с данными поступающими из различных источников в различных форматах, на основе этих данных собираются сообщения и отправляются дальше в обработку.

Встала задача минимизировать потери при ошибках разбора файлов источников, при наличии критических ошибок в разборе данных нужно оповестить отправителя о том, что такой то файл вызвал такую то ошибку во время разбора, например по EMail.

Я хочу подобные события вывести в отдельный файл лога, и хочу чтобы отдельное приложение отправляло сообщения при поступлении в этот лог новых записей.

Вопрос, не хочу изобретать велосипед, наверняка подобный функционал уже поддерживается каким то решением, беглое гугление результатов не дало, натыкаюсь на продукты которые анализируют либо логи конкретных приложений, либо громадного масштаба.

Может кто то делал, что то подобное.

@Usaga · 09.02.2024, 09:04

alhaos, я бы не использовал для этого логи. А просто извещал бы по API какой-нибудь сервис, который сообщение положит себе в очередь и отправит куда надо (в том числе может продублировать и в файл\базу, если надо).

Ну или такой сервис в само приложение встроил бы, если это десктопное или мобильное приложение и разводить разные службы\сервисы на машине не хотелось бы.

@alhaos · 09.02.2024, 11:19 **[ТС]**

Usaga, Ну а если эта служба недоступна на момент ошибки. Тогда все равно нужно лесть в лог.

@Aledveu · 09.02.2024, 11:35

записать в отдельный лог файл в отдельную директорию. а когда надо - смотреть сколько там файлов лежит и обрабатывать их и удалять если не нужны более. можно в эту директорию и файлы кидать которые не прошли обработку - чтобы потом отлаживать было на чём.

@alhaos · 09.02.2024, 12:01 **[ТС]**

Aledveu, Мне нравится эта идея, сделать отдельную директорию, и в ней на каждый инцидент создавать отдельную директорию куда складывать и сообщение об ошибке и файл, затем обрабатывать, опять же чем, в самом приложении делать этот функционал или выносить отдельно.

@Usaga · 09.02.2024, 12:43

Сообщение от alhaos

Ну а если эта служба недоступна на момент ошибки. Тогда все равно нужно лесть в лог.

Тогда это уже другая ошибка.

@Shamil1 · 12.02.2024, 22:27

Сообщение от alhaos

Ну а если эта служба недоступна на момент ошибки.

Вероятность этого меньше, чем вероятность того, что Ваше основное приложение будет недоступно.

@alhaos · 13.02.2024, 05:47 **[ТС]**

Shamil1, Да, но в если сервис недоступен и произошла ошибка, есть малая вероятность, что ты не полезешь в логи чтобы посмотреть наличие ошибок и она останется незамеченной, и результат медицинского анализа которым является основная обрабатываемая сущность, потеряется при обработке и это приведет к тому, что отсутствие своевременного наличия качественного результата анализа повлияет на выявление неотложного состояния обратившегося человека критическим образом. что в сою очередь приведет к необратимым последствиям его здоровья и не дай бог жизни, что в свою очередь может вовлечь за собой судебные иски на суммы несопоставимые с нормальным функционированием предприятия...

Вероятность мала, но помноженная на количество обращений она не нулевая, и преценденты уже были.

@IamRain · 13.02.2024, 14:11

alhaos, можно писать в разные логи. Обычную информационную инфу можно писать в консоль и в файл, а критическую (так или иначе) для здоровья пациентов инфу писать в другой файл. Serilog, например, умеет в sublogger-ы.

@Shamil1 · 13.02.2024, 20:11

Сообщение от alhaos

Да, но в если сервис недоступен и произошла ошибка, есть малая вероятность, что ты не полезешь в логи чтобы посмотреть наличие ошибок

В этом случае можно, например, отправлять письмо или смс администратору.

Сервис - это не какая-то там штука в интернете, а вторая часть написанной Вами программы. При желании можно её в тот же исполняемый файл собрать (но зачем?).

@alhaos · 13.02.2024, 20:38 **[ТС]**

Благодарю за идеи и мнения, буду реализовывать, идею с отдельным логом и сервисом который проверяет наличие записей в нем, логе. Сдается мне это наиболее надежная схема, останутся только варианты ошибок когда запись в этот лог будет невозможна.

@Shamil1 Модератор 3077 / 2226 / 462 Регистрация: 26.03.2015 Сообщений: 8,634
	13.02.2024, 20:11	10
	Сообщение от alhaos Да, но в если сервис недоступен и произошла ошибка, есть малая вероятность, что ты не полезешь в логи чтобы посмотреть наличие ошибок В этом случае можно, например, отправлять письмо или смс администратору. Сервис - это не какая-то там штука в интернете, а вторая часть написанной Вами программы. При желании можно её в тот же исполняемый файл собрать (но зачем?). 0

Новые блоги и статьи
Это работает. Скорость асинхронной логики велика. Вопрос видимо останется в стабильности. Плата - огонь! Hrethgir 13.01.2025 По прошлому проекту в Logisim Evolution прилагаю файл архива проекта Gowin Eda и снимок. Восьмибитный счётчик из сумматора+ генератор сигнала согласования+ стартер fast регистров. Файлы прилагаю. . . .	UserScript для подсветки кнопок языков программирования в зависимости от текущего раздела volvo 13.01.2025 В результате работы этого скрипта подсвечиваются нужные кнопки не только в форме быстрого ответа, но и при редактировании сообщения: / / ==UserScript== / / @name CF_DefaultLangSelect / / . . .	Введение в модели и алгоритмы машинного обучения InfoMaster 12.01.2025 Машинное обучение представляет собой одну из наиболее динамично развивающихся областей искусственного интеллекта, которая фокусируется на разработке алгоритмов и методов, позволяющих компьютерам. . .	Как на Python создать нейросеть для решения задач InfoMaster 12.01.2025 В контексте стремительного развития современных технологий особое внимание уделяется таким инструментам, как нейросети. Эти структуры, вдохновленные биологическими нейронными сетями, используются для. . .	Как создать нейросеть для генерации картинок на Python InfoMaster 12.01.2025 Генерация изображений с помощью искусственных нейронных сетей стала одним из наиболее захватывающих направлений в области компьютерного зрения и машинного обучения. В этой статье мы рассмотрим. . .	Создание нейросети для генерации текста на Python InfoMaster 12.01.2025 Нейросети, или искусственные нейронные сети, представляют собой модели машинного обучения, вдохновленные работой человеческого мозга. Они состоят из множества взаимосвязанных узлов, или "нейронов",. . .
Как создать нейросеть распознавания изображений на Python InfoMaster 12.01.2025 Введение в распознавание изображений с помощью нейросетей Распознавание изображений с помощью нейронных сетей стало одним из самых впечатляющих достижений в области искусственного интеллекта. Эта. . .	Основы искуственного интеллекта InfoMaster 12.01.2025 Искусственный интеллект (ИИ) представляет собой одну из наиболее динамично развивающихся областей современной науки и технологий. В широком смысле под искусственным интеллектом понимается способность. . .	Python и нейросети InfoMaster 12.01.2025 Искусственные нейронные сети стали неотъемлемой частью современных технологий, революционизировав множество областей - от медицинской диагностики до автономных транспортных средств. Python, благодаря. . .	Python в машинном обучении InfoMaster 12.01.2025 Python стал неотъемлемой частью современного машинного обучения, завоевав позицию ведущего языка программирования в этой области. Его популярность обусловлена несколькими ключевыми факторами, которые. . .	Создание UI на Python с TKinter InfoMaster 12.01.2025 TKinter — это одна из наиболее популярных библиотек для создания графических интерфейсов пользователей (GUI) в языке программирования Python. TKinter входит в стандартную библиотеку Python, что. . .	HTML5 в разработке мобильных приложений InfoMaster 12.01.2025 Введение: Обзор роли HTML5 в мобильной разработке В современном мире мобильных технологий HTML5 стал ключевым инструментом для разработки кроссплатформенных приложений. Эта технология произвела. . .

@alhaos 1470 / 524 / 145 Регистрация: 20.02.2019 Сообщений: 2,602 Записей в блоге: 42
		1
	Про логирование и мониторинг 04.02.2024, 17:24. Показов 1536. Ответов 10 Метки нет (Все метки) Доброго дня уважаемые. Хочу посоветоваться, я написал не очень большое приложение по разбору файлов с данными поступающими из различных источников в различных форматах, на основе этих данных собираются сообщения и отправляются дальше в обработку. Встала задача минимизировать потери при ошибках разбора файлов источников, при наличии критических ошибок в разборе данных нужно оповестить отправителя о том, что такой то файл вызвал такую то ошибку во время разбора, например по EMail. Я хочу подобные события вывести в отдельный файл лога, и хочу чтобы отдельное приложение отправляло сообщения при поступлении в этот лог новых записей. Вопрос, не хочу изобретать велосипед, наверняка подобный функционал уже поддерживается каким то решением, беглое гугление результатов не дало, натыкаюсь на продукты которые анализируют либо логи конкретных приложений, либо громадного масштаба. Может кто то делал, что то подобное. 0

@Usaga 12568 / 8742 / 1311 Регистрация: 21.01.2016 Сообщений: 32,782
	09.02.2024, 09:04	2
	alhaos, я бы не использовал для этого логи. А просто извещал бы по API какой-нибудь сервис, который сообщение положит себе в очередь и отправит куда надо (в том числе может продублировать и в файл\базу, если надо). Ну или такой сервис в само приложение встроил бы, если это десктопное или мобильное приложение и разводить разные службы\сервисы на машине не хотелось бы. 0

@alhaos 1470 / 524 / 145 Регистрация: 20.02.2019 Сообщений: 2,602 Записей в блоге: 42
	09.02.2024, 11:19 [ТС]	3
	Usaga, Ну а если эта служба недоступна на момент ошибки. Тогда все равно нужно лесть в лог. 0

@Aledveu 240 / 170 / 29 Регистрация: 26.11.2022 Сообщений: 740
	09.02.2024, 11:35	4
	записать в отдельный лог файл в отдельную директорию. а когда надо - смотреть сколько там файлов лежит и обрабатывать их и удалять если не нужны более. можно в эту директорию и файлы кидать которые не прошли обработку - чтобы потом отлаживать было на чём. 1

@alhaos 1470 / 524 / 145 Регистрация: 20.02.2019 Сообщений: 2,602 Записей в блоге: 42
	09.02.2024, 12:01 [ТС]	5
	Aledveu, Мне нравится эта идея, сделать отдельную директорию, и в ней на каждый инцидент создавать отдельную директорию куда складывать и сообщение об ошибке и файл, затем обрабатывать, опять же чем, в самом приложении делать этот функционал или выносить отдельно. 0

@Usaga 12568 / 8742 / 1311 Регистрация: 21.01.2016 Сообщений: 32,782
	09.02.2024, 12:43	6
	Сообщение от alhaos Ну а если эта служба недоступна на момент ошибки. Тогда все равно нужно лесть в лог. Тогда это уже другая ошибка. 0

@Shamil1 Модератор 3077 / 2226 / 462 Регистрация: 26.03.2015 Сообщений: 8,634
	12.02.2024, 22:27	7
	Сообщение от alhaos Ну а если эта служба недоступна на момент ошибки. Вероятность этого меньше, чем вероятность того, что Ваше основное приложение будет недоступно. 0

@alhaos 1470 / 524 / 145 Регистрация: 20.02.2019 Сообщений: 2,602 Записей в блоге: 42
	13.02.2024, 05:47 [ТС]	8
	Shamil1, Да, но в если сервис недоступен и произошла ошибка, есть малая вероятность, что ты не полезешь в логи чтобы посмотреть наличие ошибок и она останется незамеченной, и результат медицинского анализа которым является основная обрабатываемая сущность, потеряется при обработке и это приведет к тому, что отсутствие своевременного наличия качественного результата анализа повлияет на выявление неотложного состояния обратившегося человека критическим образом. что в сою очередь приведет к необратимым последствиям его здоровья и не дай бог жизни, что в свою очередь может вовлечь за собой судебные иски на суммы несопоставимые с нормальным функционированием предприятия... Вероятность мала, но помноженная на количество обращений она не нулевая, и преценденты уже были. 0

@IamRain 3683 / 2594 / 719 Регистрация: 02.08.2011 Сообщений: 6,964
	13.02.2024, 14:11	9
	alhaos, можно писать в разные логи. Обычную информационную инфу можно писать в консоль и в файл, а критическую (так или иначе) для здоровья пациентов инфу писать в другой файл. Serilog, например, умеет в sublogger-ы. 0

@alhaos 1470 / 524 / 145 Регистрация: 20.02.2019 Сообщений: 2,602 Записей в блоге: 42
	13.02.2024, 20:38 [ТС]	11
	Благодарю за идеи и мнения, буду реализовывать, идею с отдельным логом и сервисом который проверяет наличие записей в нем, логе. Сдается мне это наиболее надежная схема, останутся только варианты ошибок когда запись в этот лог будет невозможна. 0