Выборка неповторяющихся по определённым полям документов

@dymot · Регистрация: 17.10.2008

Author24 — интернет-сервис помощи студентам

Уважаемые программисты, помогите придумать алгоритм для решения следущуей задачи или подскажите с помощью чего ее можно решить.
1. есть коллекция документов.
2. документы созданы по форме, на которой 2 текстовый поля: название организации и этап работы с этой организацией.

из коллекции необходимо убрать документы в который содержание полей одинаково, напрмер есть коллекция:
(1) поле1=орг1, поле2=этап1
(2) поле1=орг3, поле2=этап2
(3) поле1=орг2, поле2=этап6
(4) поле1=орг3, поле2=этап2
(5) поле1=орг1, поле2=этап1
(6) поле1=орг5, поле2=этап3

на выходе должна быть коллекция вида:
(1) поле1=орг1, поле2=этап1
(2) поле1=орг3, поле2=этап2
(3) поле1=орг2, поле2=этап6
(4) поле1=орг5, поле2=этап3

@mvyush · 17.06.2010, 09:19

dymat
Можно создать скрытое представление с двумя сортированными столбцами, соответствующими нужным полям, и установить галку Generate unique keys in index (5-я закладка). Только нужно в формуле отбора отсечь конфликтные документы (SELECT Form = "MyForm" & !@IsAvailable($Conflict) ).
Другой вариант — создать категоризованное представление, где в качестве имени категории объединять значения нужных полей. В цикле перебирать Entry только категорий (см. Set notesViewNavigator = notesView.CreateViewNav; Set notesViewEntry = notesViewNavigator.GetNextSibling( entry ))

@Kyzoryk86 · 17.06.2010, 09:58

Какая конечная цель данной коллекции? Что с ней делаться должно? Примерное кол-во документов в коллекции?

@dymot · 17.06.2010, 10:04

Сообщение от kizarek

Какая конечная цель данной коллекции? Что с ней делаться должно? Примерное кол-во документов в коллекции?

На основании документов в этой коллекции формирую отчет, количество документов в пределах 50

@Kyzoryk86 · 17.06.2010, 10:09

Если не принципиально какой из документов оставлять то можно так:

Код

    Dim s As New NotesSession
Dim coll As NotesDocumentCollection, doc As NotesDocument
Dim ListDocumentID List As String, TAG As String
Set doc = coll.GetFirstDocument
While Not doc Is Nothyng
TAG = doc.GetItemValue("ПОЛЕ1")(0)+"~~"+doc.GetItemValue("ПОЛЕ2")(0)
ListDocumentID(TAG) = doc.UniversalID
Set doc = coll.GetNextDocument(coll)
Wend

ListDocumentID - Тут уже документы с уникальными значениями из TAG
Forall ID In ListDocumentID
Set doc = s.CurrentDatabase.GetDocumentByUNID(ID)
Тут необходимые действия с документами
End Forall

@mvyush · 17.06.2010, 10:12

Сообщение от kizarek

Если не принципиально какой из документов оставлять то можно так:

КМК, лучше всё-таки сразу получить нужную выборку документов/ентрисов. я бы использовал вариант №1 ( http:///ipb.html?s=&sh...st&p=174774 ), вывел все необходимые данные в столбцах представления и получал их по notesViewEntry.ColumnValues.

@Dorkyr · 17.06.2010, 10:17

Лучше сразу из коллекции удалять

LotusScript

    Dim coll As NotesDocumentCollection, doc As NotesDocument, tempDoc as NotesDocument
Dim ListDocumentID List As String
Set doc = coll.GetFirstDocument
While Not doc Is Nothyng
Set tempDoc = doc
Set doc = coll.GetNextDocument(doc)
if Iselement(ListDocumentID(tempDoc.GetItemValue("ПОЛЕ1")(0)+"~~"+tempDoc.GetItemValue("ПОЛЕ2")(0))) then coll.DeleteDocument(tempDoc) else ListDocumentID(TAG)=""
Wend

и дальше юзать coll

@Kyzoryk86 · 17.06.2010, 10:18

Сообщение от nvy

КМК, лучше всё-таки сразу получить нужную выборку документов/ентрисов. я бы использовал вариант №1 ( http:///ipb.html?s=&sh...st&p=174774 ), вывел все необходимые данные в столбцах представления и получал их по notesViewEntry.ColumnValues.

Ну если это представление будет делаться только для одного отчета то нафиг надо, а если таких отчетов будет 20 штук, и под каждое представление делать?

50 документов будут даже на самой дряхлой машине получаться очень быстро, а обрабатываться почти моментом.

Добавлено:

Сообщение от Darker

и дальше юзать coll

Симпатичнее)

@tyybo · 17.06.2010, 11:02

Очень понравился вариант Darker . Вот сразу в голову не пришло отсекать лишнее, а не выбирать нужное.

P.S. Часто в отчетах бывает нужно количество документов с одинаковыми тэгами. Удобно подсчитывать его в элементах списка. В варианте с категоризированым представлением это тоже легко решается, а с видом с уникальным ключем, наверное нет.

@dymot · 17.06.2010, 11:25

Всем спасибо. проблема решена:whoareyou?:

@VtodSh · 17.06.2010, 12:43

Эта дуристика с "удалением" не нужна вовсе.
Если пользовать класс notesDocumentCollection, то дубликаты там невозможны по определению. Для теста попробуйте метод AddDocument, при добавлении уже существующего документа поймаете ошибку 4469.

@turumboy · 17.06.2010, 12:47

Сообщение от VladSh

Если пользовать класс notesDocumentCollection, то дубликаты там невозможны по определению.

все верно. но тут вроде речь не про дубликаты документов, а про фильтрацию коллекции.

@Dorkyr · 17.06.2010, 12:58

VladSh, вопрос относительный.
К примеру есть мешок картошки, в котором нужно убрать гнилые.
Есть два метода:
1) Взять дополнительный пустой мешок, сшитый кустарным способом (в силу отсутствия стандартного метода получения нового пустого), и перекладывать туда не гнилые картофели
2) Сразу взять мусорку и бросать туда гнилые, и останется у нас мешок нормальных

Если у нас гнилых больше чем нормальных, то первый способ предпочтительней, в противном случае - второй

ошибку 4469, поймать невозможно, так как документы берутся из коллекции

@VtodSh · 17.06.2010, 14:56

Darker
Вариант 3-й и правильный (с точки зрения платформы) - получить коллекцию без гнилой картошки либо осуществить проход чисто по нормальной картошке для этого платформа предлагает кучу стандартных методов:
1). Отстройка видов:
а). Получение коллекций:
- GetAllDocumentsByKey
- GetAllEntriesByKey
б). "Онлайн" проход с помощью NotesViewNavigatorа.
2). Формирование строки запроса "на лету" и поиск - это notesDatabase.Search.

Иногда бывают случаи, когда все отобранные документы нужны, но по различным условиям данные из них вытягиваются или запихиваются разные, а некоторые - общие, т.е. времени на проверку уйдёт гораздо меньше, чем 2 разных поиска и 2 разных перебора. Но таких случаев очень немного; в большинстве же подобные решения - это неправильное использование платформы.

@Dorkyr · 17.06.2010, 15:25

VladSh, так задача тривиальная
По мне, получение документов для разовой задачи, с использованием вида - накладно, создание индексов, и т.д., случаются случаи слета индексов.

@VtodSh · 17.06.2010, 19:43

Darker
Чтобы индексы видов слетели это надо постараться. Слоган: "Берёшь вьюху - сделай ей Refresh!", никогда не подводило.
При правильном проектировании приложений, вьюхи, по которым ищешь, не содержат большого количества документов, и доки в них не накапливаются.
А бывают случаи, когда и для одного убойного отчёта лучше отстроить вьюху...
notesDatabase.Search, и никаких тебе индексов.

@Dorkyr 0 / 0 / 0 Регистрация: 12.01.2009 Сообщений: 246
	17.06.2010, 12:58	13
	VladSh, вопрос относительный. К примеру есть мешок картошки, в котором нужно убрать гнилые. Есть два метода: 1) Взять дополнительный пустой мешок, сшитый кустарным способом (в силу отсутствия стандартного метода получения нового пустого), и перекладывать туда не гнилые картофели 2) Сразу взять мусорку и бросать туда гнилые, и останется у нас мешок нормальных Если у нас гнилых больше чем нормальных, то первый способ предпочтительней, в противном случае - второй ошибку 4469, поймать невозможно, так как документы берутся из коллекции 0

@VtodSh 1 / 1 / 0 Регистрация: 07.12.2009 Сообщений: 1,197
	17.06.2010, 19:43	16
	Darker Чтобы индексы видов слетели это надо постараться. Слоган: "Берёшь вьюху - сделай ей Refresh!", никогда не подводило. При правильном проектировании приложений, вьюхи, по которым ищешь, не содержат большого количества документов, и доки в них не накапливаются. А бывают случаи, когда и для одного убойного отчёта лучше отстроить вьюху... notesDatabase.Search, и никаких тебе индексов. 0

Новые блоги и статьи
Книги и учебные ресурсы по C# InfoMaster 08.01.2025 Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .	Что такое NullReferenceException и как исправить? InfoMaster 08.01.2025 NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .	Что такое Null Pointer Exception (NPE) и как это исправить? InfoMaster 08.01.2025 Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .	Русский язык в консоли C++ InfoMaster 08.01.2025 При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .	Telegram бот на C# InfoMaster 08.01.2025 Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .	Использование GraphQL в Go (Golang) InfoMaster 08.01.2025 Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
Что лучше использовать при создании класса в Java: сеттеры или конструктор? Alexander-7 08.01.2025 Вопрос подробнее: На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .	Как работать с GraphQL на TypeScript InfoMaster 08.01.2025 Введение в GraphQL и TypeScript В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .	Счётчик на базе сумматоров + регистров и генератора сигналов согласования. Hrethgir 07.01.2025 Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .	Как перейти с Options API на Composition API в Vue.js BasicMan 06.01.2025 Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .	Архитектура современных процессоров inter-admin 06.01.2025 Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .	История создания реляционной модели баз данных, правила Кодда Programming 06.01.2025 Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .

@dymot 0 / 0 / 0 Регистрация: 17.10.2008 Сообщений: 506
		1
	Выборка неповторяющихся по определённым полям документов 17.06.2010, 09:04. Показов 24703. Ответов 15 Метки нет (Все метки) Уважаемые программисты, помогите придумать алгоритм для решения следущуей задачи или подскажите с помощью чего ее можно решить. 1. есть коллекция документов. 2. документы созданы по форме, на которой 2 текстовый поля: название организации и этап работы с этой организацией. из коллекции необходимо убрать документы в который содержание полей одинаково, напрмер есть коллекция: (1) поле1=орг1, поле2=этап1 (2) поле1=орг3, поле2=этап2 (3) поле1=орг2, поле2=этап6 (4) поле1=орг3, поле2=этап2 (5) поле1=орг1, поле2=этап1 (6) поле1=орг5, поле2=этап3 на выходе должна быть коллекция вида: (1) поле1=орг1, поле2=этап1 (2) поле1=орг3, поле2=этап2 (3) поле1=орг2, поле2=этап6 (4) поле1=орг5, поле2=этап3 0

@mvyush 0 / 0 / 0 Регистрация: 19.04.2009 Сообщений: 2,219
	17.06.2010, 09:19	2
	dymat Можно создать скрытое представление с двумя сортированными столбцами, соответствующими нужным полям, и установить галку Generate unique keys in index (5-я закладка). Только нужно в формуле отбора отсечь конфликтные документы (SELECT Form = "MyForm" & !@IsAvailable($Conflict) ). Другой вариант — создать категоризованное представление, где в качестве имени категории объединять значения нужных полей. В цикле перебирать Entry только категорий (см. Set notesViewNavigator = notesView.CreateViewNav; Set notesViewEntry = notesViewNavigator.GetNextSibling( entry )) 0

@Kyzoryk86 0 / 0 / 0 Регистрация: 16.07.2007 Сообщений: 849
	17.06.2010, 09:58	3
	Какая конечная цель данной коллекции? Что с ней делаться должно? Примерное кол-во документов в коллекции? 0

@dymot 0 / 0 / 0 Регистрация: 17.10.2008 Сообщений: 506
	17.06.2010, 10:04	4
	Сообщение от kizarek Какая конечная цель данной коллекции? Что с ней делаться должно? Примерное кол-во документов в коллекции? На основании документов в этой коллекции формирую отчет, количество документов в пределах 50 0

@mvyush 0 / 0 / 0 Регистрация: 19.04.2009 Сообщений: 2,219
	17.06.2010, 10:12	6
	Сообщение от kizarek Если не принципиально какой из документов оставлять то можно так: КМК, лучше всё-таки сразу получить нужную выборку документов/ентрисов. я бы использовал вариант №1 ( http:///ipb.html?s=&sh...st&p=174774 ), вывел все необходимые данные в столбцах представления и получал их по notesViewEntry.ColumnValues. 0

@Kyzoryk86 0 / 0 / 0 Регистрация: 16.07.2007 Сообщений: 849
	17.06.2010, 10:18	8
	Сообщение от nvy КМК, лучше всё-таки сразу получить нужную выборку документов/ентрисов. я бы использовал вариант №1 ( http:///ipb.html?s=&sh...st&p=174774 ), вывел все необходимые данные в столбцах представления и получал их по notesViewEntry.ColumnValues. Ну если это представление будет делаться только для одного отчета то нафиг надо, а если таких отчетов будет 20 штук, и под каждое представление делать? 50 документов будут даже на самой дряхлой машине получаться очень быстро, а обрабатываться почти моментом. Добавлено: Сообщение от Darker и дальше юзать coll Симпатичнее) 0

@tyybo 0 / 0 / 0 Регистрация: 13.06.2010 Сообщений: 47
	17.06.2010, 11:02	9
	Очень понравился вариант Darker . Вот сразу в голову не пришло отсекать лишнее, а не выбирать нужное. P.S. Часто в отчетах бывает нужно количество документов с одинаковыми тэгами. Удобно подсчитывать его в элементах списка. В варианте с категоризированым представлением это тоже легко решается, а с видом с уникальным ключем, наверное нет. 0

@dymot 0 / 0 / 0 Регистрация: 17.10.2008 Сообщений: 506
	17.06.2010, 11:25	10
	Всем спасибо. проблема решена:whoareyou?: 0

@VtodSh 1 / 1 / 0 Регистрация: 07.12.2009 Сообщений: 1,197
	17.06.2010, 12:43	11
	Эта дуристика с "удалением" не нужна вовсе. Если пользовать класс notesDocumentCollection, то дубликаты там невозможны по определению. Для теста попробуйте метод AddDocument, при добавлении уже существующего документа поймаете ошибку 4469. 0

@turumboy 0 / 0 / 0 Регистрация: 15.03.2009 Сообщений: 615
	17.06.2010, 12:47	12
	Сообщение от VladSh Если пользовать класс notesDocumentCollection, то дубликаты там невозможны по определению. все верно. но тут вроде речь не про дубликаты документов, а про фильтрацию коллекции. 0

@VtodSh 1 / 1 / 0 Регистрация: 07.12.2009 Сообщений: 1,197
	17.06.2010, 14:56	14
	Darker Вариант 3-й и правильный (с точки зрения платформы) - получить коллекцию без гнилой картошки либо осуществить проход чисто по нормальной картошке для этого платформа предлагает кучу стандартных методов: 1). Отстройка видов: а). Получение коллекций: - GetAllDocumentsByKey - GetAllEntriesByKey б). "Онлайн" проход с помощью NotesViewNavigatorа. 2). Формирование строки запроса "на лету" и поиск - это notesDatabase.Search. Иногда бывают случаи, когда все отобранные документы нужны, но по различным условиям данные из них вытягиваются или запихиваются разные, а некоторые - общие, т.е. времени на проверку уйдёт гораздо меньше, чем 2 разных поиска и 2 разных перебора. Но таких случаев очень немного; в большинстве же подобные решения - это неправильное использование платформы. 0

@Dorkyr 0 / 0 / 0 Регистрация: 12.01.2009 Сообщений: 246
	17.06.2010, 15:25	15
	VladSh, так задача тривиальная По мне, получение документов для разовой задачи, с использованием вида - накладно, создание индексов, и т.д., случаются случаи слета индексов. 0