Как быстро работать с большими текстовыми файлами?

@pavelDev · Регистрация: 13.11.2013

Author24 — интернет-сервис помощи студентам

моя цель: есть текстовой файл весом 4 мб все строчки которые начинаются с v переписать в другой файл .
я пробовал сделать массив в котором хранятся все строчки файла которые начинаются с v затем этот массив переписать в файл но в результате программа после 8 минут завершилась.притом что железо у меня не самое слабое . как можно ускорить время ? то такой результат не как не устраивает . помогите

@volvo · 18.01.2014, 04:29

Сколько? 8 минут? С ума сойти... Вот этим кодом:

Pascal    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
uses
  System.IO, 
  System.Collections.Generic;
 
const
  in_file = 'd:\test\com_ax.txt';
  out_file = 'd:\test\com_ax_out.txt';
  start_str = 'v'; // тут подставил что тебе нужно, я искал по другому началу строки
 
begin
  var s := &File.ReadAllLines(in_file);
  var L: List<string> := new List<string>(s);
  var Res: List<string> := new List<string>;
  
  foreach sub: string in L do
    if sub.StartsWith(start_str) then Res.Add(sub);
  &File.WriteAllLines(out_file, Res.ToArray());
end.

у меня только что обработало 10-мегабайтный входной файл за полторы секунды. В результате получился файл размером в 1.6 Мб...

@pavelDev · 18.01.2014, 12:29 **[ТС]**

спасибо
вот мой медленный и можно сказать дедовский способ

Pascal    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
unit Import;
procedure imported(in1,ex:string);
var
v:array of string;
vi,i:integer;
 vs,rs,fs:String;
  rf,exx:textfile;
begin
assign(rf,in1);
reset(rf);
assign(exx,ex);
rewrite(exx);
repeat
readln(rf,rs);
if rs.StartsWith('v ') then
begin
vi:=vi+1;
SetLength(v,vi);
v[i]:=rs;
i+=1;
end;
until eof(rf);
foreach fs in v do
begin
Delete(fs,2,1);//тут я удалил пробелы  с снужных мест
writeln(exx,fs);
end;
close(exx);
close(rf);
end;
begin
end.

Новые блоги и статьи Все статьи Все блоги /
Оптимизация производительности Node.js с помощью кластеризации run.dev 04.04.2025 Масштабирование приложений для обработки тысяч и миллионов запросов — обыденная задача для многих команд. Node. js, благодаря своей асинхронной событийно-ориентированной архитектуре, стал популярной. . .	Управление зависимостями в Python с Poetry py-thonny 04.04.2025 Стандартный инструмент для установки пакетов в Python - pip - прекрасно справляется с базовыми сценариями: установил пакет командой pip install и используешь его. Но что произойдёт, когда разные. . .	Мониторинг с Prometheus в PHP Jason-Webb 04.04.2025 Prometheus выделяется среди других систем мониторинга своим подходом к сбору и хранению метрик. В отличие от New Relic, который использует агентный подход и отправляет данные во внешнее хранилище,. . .	Пакет Context в Golang: Управление потоками и ресурсами golander 04.04.2025 Работа с горутинами в Go часто напоминает управление непослушными детьми - они разбегаются кто куда, делают что хотят и не всегда завершаются вовремя. К счастью, в Go 1. 7 появился пакет context,. . .	Контейнеризация React приложений с Docker Reangularity 03.04.2025 Контейнеризация позволяет упаковать приложение со всеми его зависимостями в автономный контейнер, который можно запустить на любой платформе с установленным Docker. Это существенно упрощает процессы. . .
Свой попап в SwiftUI mobDevWorks 03.04.2025 SwiftUI, как декларативный фреймворк от Apple, предоставляет множество инструментов для создания пользовательских интерфейсов. В нашем распоряжении есть такие API как alerts, popovers, action sheets. . .	Антипаттерны микросервисной архитектуры ArchitectMsa 03.04.2025 Хорошо спроектированная микросервисная система может выдержать испытание временем, оставаясь гибкой, масштабируемой и устойчивой к большинству проблем. Такая архитектура обладает высоким уровнем. . .	std::mutex в C++: Советы и примеры использования bytestream 03.04.2025 std::mutex - это механизм взаимного исключения, который гарантирует, что критический участок кода выполняется только одним потоком в каждый момент времени. Это простое, но могущественное средство. . .	Не удержался от оценки концепции двигателя Стирлинга. Hrethgir 03.04.2025 Сколько не пытался - она выдавала правильные схемы, причём случайно рисовала горячие области в середине, холодные по краям, трубки с краёв в низ и магнит в соединяющей, но при этой выдавала описание. . .	Метод с двумя буферами (или double buffering) или ping-pong buffering Hrethgir 02.04.2025 Из ответов LM модели. Метод, который предполагает использование двух массивов для хранения промежуточных результатов сложения векторов, обычно применяется в сценариях, где необходимо минимизировать. . .

@pavelDev 56 / 56 / 26 Регистрация: 13.11.2013 Сообщений: 234 Записей в блоге: 1

	Как быстро работать с большими текстовыми файлами? 18.01.2014, 02:17. Показов 1503. Ответов 2 Метки нет (Все метки) моя цель: есть текстовой файл весом 4 мб все строчки которые начинаются с v переписать в другой файл . я пробовал сделать массив в котором хранятся все строчки файла которые начинаются с v затем этот массив переписать в файл но в результате программа после 8 минут завершилась.притом что железо у меня не самое слабое . как можно ускорить время ? то такой результат не как не устраивает . помогите 0

Как быстро работать с большими текстовыми файлами?

Решение