Удалить повторяющиеся строки

@vip72 · Регистрация: 18.01.2014

Author24 — интернет-сервис помощи студентам

Для составления некой базы уникальной потребовалось удалять все те строки которые ранее попадались, выход думаю только можно такой найти:
Берем 1 текстовый документ например со строками:

1
123asf
453

И второй текстовый документ со строками:

123asf
4r3
g542

Те строки которые будут найдены и в первом текстовике и во втором удаляются во втором текстовике,
должно остаться во втором:

4r3
g542

Воот, а как такое реализовать даже не знаю, может кто поможет?))

Добавлено через 6 часов 59 минут
помогите плиз

@V@D!k · 19.03.2014, 16:43

я бы дела так: считал в два массива строк, потом бы в цикле сравнивал, и если найдутся совпадения, то удалял бы из второго массива

@Para bellum · 19.03.2014, 20:14

Сообщение от V@D!k

потом бы в цикле сравнивал

Лучше не в цикле. Есть функция array_diff, например

.

KOPOJI · 19.03.2014, 20:16

а чем не нравится file + array_unique ?

@Para bellum · 19.03.2014, 20:19

Сообщение от vip72

Берем 1 текстовый документ

Сообщение от vip72

И второй текстовый документ

Сообщение от KOPOJI

array_unique

KOPOJI · 19.03.2014, 20:25

Не по теме:

имелось в виду предварительное array_merge, забыл написать. Хотя да, вариант неверный в итоге, удалятся только дубли, исходные останутся

@vip72 · 19.03.2014, 20:36 **[ТС]**

А скрипт кто может написать? голова не варит, и то что знаю о пхп уже подзабыл)
Плиз)

KOPOJI · 19.03.2014, 20:39

PHP    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
file_put_contents(
    './file2.txt',
    array_diff(
        file('./file1.txt', FILE_SKIP_EMPTY_LINES | FILE_IGNORE_NEW_LINES)
        file('./file2.txt', FILE_SKIP_EMPTY_LINES | FILE_IGNORE_NEW_LINES)
    )
);

@Para bellum · 19.03.2014, 20:52

PHP    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
# Получаем данные из файлов
    $data1 = file('file1.txt', FILE_IGNORE_NEW_LINES);
    $data2 = file('file2.txt', FILE_IGNORE_NEW_LINES);
    
    # Сличаем массивы
    $result = array_diff($data2,$data1);
 
    # Разбиваем назад в строку
    $result = implode("\n", $result);
    
    # Записываем в файл
    file_put_contents('file2.txt', $result);

Добавлено через 2 минуты

Не по теме:

А то, что мой код малёхо длиньше, чем у KOPOJI, ещё ничего не значит :umbrage:

KOPOJI · 19.03.2014, 20:55

Не по теме:

ну у меня и записывает в одну строку без пробела, и массивы "наоборот" :)

Добавлено через 47 секунд

PHP    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
file_put_contents(
    './file2.txt',
    join(
        PHP_EOL,
        array_diff(
            file('./file2.txt', FILE_SKIP_EMPTY_LINES | FILE_IGNORE_NEW_LINES),
            file('./file1.txt', FILE_SKIP_EMPTY_LINES | FILE_IGNORE_NEW_LINES)
        )
    )
);

@Para bellum · 19.03.2014, 21:01

Не по теме:

KOPOJI, позвольте Вас поправить :).
Что запятую не поставили после первого вызова file() - глаза закроем, это опечатка просто :).
А вот что новые данные будут писаться не построчно, а в одну строку - это уже ошибочка :).
Ещё, чтобы достичь нужного результата, нужно поменять местами аргументы для array_diff(), так как (цитата):

Возвращает array, содержащий элементы array1, отсутствующие в любом из всех остальных массивах.

Т.е. array_diff возвратит нам строки первого файла, не найденные во втором.

Добавлено через 45 секунд

Не по теме:

Опоздал. KOPOJI сам осознал свою ошибку :D.

Добавлено через 2 минуты

Не по теме:

А вот что я использовал \n заместо PHP_EOL - это мой грешок :D.

@V@D!k · 19.03.2014, 22:27

Сообщение от lyod

Сообщение от V@D!k
потом бы в цикле сравнивал
Лучше не в цикле. Есть функция array_diff, например .
__________________

не знал такой функции, надо будет посмотреть

Новые блоги и статьи Все статьи Все блоги /
Не удержался от оценки концепции двигателя Стирлинга. Hrethgir 03.04.2025 Сколько не пытался - она выдавала правильные схемы, причём случайно рисовала горячие области в середине, холодные по краям, трубки с краёв в низ и магнит в соединяющей, но при этой выдавала описание. . .	Метод с двумя буферами (или double buffering) или ping-pong buffering Hrethgir 02.04.2025 Из ответов LM модели. Метод, который предполагает использование двух массивов для хранения промежуточных результатов сложения векторов, обычно применяется в сценариях, где необходимо минимизировать. . .	На любовном киберфронте Alexander-7 01.04.2025 Недавно на одном малоизвестном сайте знакомств мною заинтересовалась девушка: «Текст немного странный. Но, судя по адресу почты, иностранка», – подумал я. Поколебавшись пару суток, я ответил ей:. . .	Как работает Node.js изнутри run.dev 29.03.2025 Node. js изменил подход к разработке веб-приложений, позволив использовать JavaScript не только на стороне клиента, но и на сервере. Созданный в 2009 году Райаном Далем, этот открытый,. . .	Моки в Python: Mock Object Library py-thonny 29.03.2025 Тестирование кода требует особого подхода, когда речь идёт о компонентах, взаимодействующих с внешним миром. Мы часто сталкиваемся с непредсказуемостью HTTP-запросов, чтением данных из базы или. . .
JavaScript: Управление памятью и улучшение производительности run.dev 29.03.2025 В отличие от низкоуровневых языков программирования, JavaScript не требует ручного выделения и освобождения памяти. Здесь работает автоматический сборщик мусора, который определяет, какие объекты. . .	Мультитенантная архитектура со SpringBoot и PostgreSQL ArchitectMsa 29.03.2025 SaaS-приложения редко обслуживают одного клиента и обычно они должны поддерживать множество организаций, каждая из которых работает в своём изолированном пространстве. Мультитенантная архитектура. . .	std::span в C++: Производительность и лучшие практики NullReferenced 28.03.2025 std::span — одно из самых недооценённых нововведений стандарта C++20, которое радикально меняет подход к работе с непрерывными последовательностями данных. По сути, это невладеющее представление. . .	Многопоточность в C#: Threadpool UnmanagedCoder 28.03.2025 Пул потоков в C# — это коллекция заранее созданных и готовых к использованию потоков, которые находятся в распоряжении приложения. Вместо того чтобы создавать и уничтожать потоки для каждой небольшой. . .	Вопросы на собеседованиях по микросервисам ArchitectMsa 27.03.2025 Работодатели ищут не просто разработчиков, знающих базовые концепции, а специалистов, разбирающихся в тонкостях масштабирования, отказоустойчивости и производительности. Сейчас на первый план выходят. . .

@vip72 11 / 11 / 7 Регистрация: 18.01.2014 Сообщений: 180 Записей в блоге: 1

	Удалить повторяющиеся строки 19.03.2014, 16:26. Показов 4381. Ответов 11 Метки нет (Все метки) Для составления некой базы уникальной потребовалось удалять все те строки которые ранее попадались, выход думаю только можно такой найти: Берем 1 текстовый документ например со строками: 1 123asf 453 И второй текстовый документ со строками: 123asf 4r3 g542 Те строки которые будут найдены и в первом текстовике и во втором удаляются во втором текстовике, должно остаться во втором: 4r3 g542 Воот, а как такое реализовать даже не знаю, может кто поможет?)) Добавлено через 6 часов 59 минут помогите плиз 0

@V@D!k 249 / 249 / 98 Регистрация: 26.07.2010 Сообщений: 1,685
	19.03.2014, 16:43
	я бы дела так: считал в два массива строк, потом бы в цикле сравнивал, и если найдутся совпадения, то удалял бы из второго массива 1

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	19.03.2014, 20:14
	Сообщение от V@D!k потом бы в цикле сравнивал Лучше не в цикле. Есть функция array_diff, например . 1

KOPOJI Почетный модератор 16844 / 6724 / 880 Регистрация: 12.06.2012 Сообщений: 19,967
	19.03.2014, 20:16
	а чем не нравится file + array_unique ? 0

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	19.03.2014, 20:19
	Сообщение от vip72 Берем 1 текстовый документ Сообщение от vip72 И второй текстовый документ Сообщение от KOPOJI array_unique 0

KOPOJI
	19.03.2014, 20:25
	Не по теме: имелось в виду предварительное array_merge, забыл написать. Хотя да, вариант неверный в итоге, удалятся только дубли, исходные останутся 0

@vip72 11 / 11 / 7 Регистрация: 18.01.2014 Сообщений: 180 Записей в блоге: 1
	19.03.2014, 20:36 [ТС]
	А скрипт кто может написать? голова не варит, и то что знаю о пхп уже подзабыл) Плиз) 0

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	19.03.2014, 21:01
	Не по теме: KOPOJI, позвольте Вас поправить :). Что запятую не поставили после первого вызова file() - глаза закроем, это опечатка просто :). А вот что новые данные будут писаться не построчно, а в одну строку - это уже ошибочка :). Ещё, чтобы достичь нужного результата, нужно поменять местами аргументы для array_diff(), так как (цитата): Возвращает array, содержащий элементы array1, отсутствующие в любом из всех остальных массивах. Т.е. array_diff возвратит нам строки первого файла, не найденные во втором. Добавлено через 45 секунд Не по теме: Опоздал. KOPOJI сам осознал свою ошибку :D. Добавлено через 2 минуты Не по теме: А вот что я использовал \n заместо PHP_EOL - это мой грешок :D. 0

@V@D!k 249 / 249 / 98 Регистрация: 26.07.2010 Сообщений: 1,685
	19.03.2014, 22:27
	Сообщение от lyod Сообщение от V@D!k потом бы в цикле сравнивал Лучше не в цикле. Есть функция array_diff, например . __________________ не знал такой функции, надо будет посмотреть 1

Удалить повторяющиеся строки

Решение