Удалить в текстовом файле каждую строку, в которой число повторов какого-либо символа превышает заданное

@Cyber_F · Регистрация: 23.02.2014

Author24 — интернет-сервис помощи студентам

подскажите пожалуйста. Есть .txt файл, в нем нужно по удалять строчки - где какой либо символ повторяется больше 2, 3 раз.
пример: нужно удалить вот такие строки (в данном случае символ "1") - qw1t1, i1pk1O1, 1Pa01, 1GV1bn1nbg1.
в каких - то случаях нужно удалить строчки где символ повторяется больше 2раз, а где - то больше 4раз.

Dragokas · 08.01.2015, 11:35

Так ведь судя из примеров - больше 1 раза, а не 2-х.
И уточните, что у Вас исходный файл - 100 mB и более.
В какой кодировке исходный файл?

@Cyber_F · 09.01.2015, 10:41 **[ТС]**

Dragokas, - формат .txt, 100мб, т.к. 1Гб скрипты не поддерживают - зависают при обработке.
п.с. иногда нужно что бы символ повторялся 1раз, а иногда оставить что бы символ повторялся не более 2, 3 раз.

Добавлено через 22 часа 26 минут
хотя бы чтоб символ не повторялся больше 6раз.

@Cyber_F · 10.01.2015, 13:47 **[ТС]**

пример: нужно удалить строчки где символ повторяется больше 6раз - ui1gf1hy1ju1ij1j1CX1w1ee1, oPhgPtqPcsPzPjPGGPwwwwP и т.д.

@YupiRex · 10.01.2015, 17:16

если для какого то определенного символа, то это будет выглядеть так:

Кликните здесь для просмотра всего текста

Bash

@set infile=000.txt
@set outfile=111.txt
@set char=P
@set count=6
@echo off
setlocal ENABLEDELAYEDEXPANSION
for /l %%i in (1,1,!count!) do set reg=!reg!.*!char!
>nul findstr /v /r "!reg!" !infile!>!outfile!
exit /b

для любого определенного множества символов:

Кликните здесь для просмотра всего текста

Bash

@set infile=000.txt
@set outfile=111.txt
@set count=4
@echo off
setlocal ENABLEDELAYEDEXPANSION
echo.>.tmp
>nul copy /y %infile% %outfile%
for /f "tokens=* delims=" %%a in (%outfile%) do (
    set "line=%%a"
    call :parsLine)
del /q "!outfile!.tmp" .tmp
exit /b
:parsLine
set "reg="
set "char=!line:~0,1!"
>nul findstr "!char!" .tmp && exit /b || (
    echo.!char!>>.tmp
    for /l %%i in (1,1,!count!) do set reg=!reg!.*!char!
    findstr /v /r "!reg!" !outfile! >!outfile!.tmp
    >nul copy /y !outfile!.tmp !outfile!)
set "line=!line:~1!"
if defined line goto parsLine
exit /b

ну и в продолжение темы о рекурсивном переборе строки:

Кликните здесь для просмотра всего текста

Bash

@set infile=000.txt
@set outfile=111.txt
@set count=6
@echo off
setlocal ENABLEDELAYEDEXPANSION
if exist !outfile! del /q !outfile!
for /f "tokens=* delims=" %%a in (!infile!) do (
    set "line=%%a"
    set "num=0"
    call :parsLine
    if !err! lss !count! echo !line!>>!outfile!)
exit /b
 
:parsLine
set "err=1"
set "char=!line:~%num%,1!"
set "newline=!line:~%num%!"
set /a num+=1
if not defined char exit /b
:recurs
set "newline=!newline:~1!"
if "!char!"=="!newline:~0,1!" set /a err+=1 
if !err! geq !count! exit /b
if defined newline goto :recurs 
goto :parsLine

@Cyber_F · 11.01.2015, 13:14 **[ТС]**

YupiRex, спс, попробую.
вообще словари создавались на основе 50символов. поэтому желательно пройтись по всем.

файлы от 10~20мб норм переб. а что за 3 способ(он не запустился)?

@Cyber_F · 03.07.2015, 05:04 **[ТС]**

подскажите плиз. как применить данный код ко всей папке, а не только к одному файлу:

Кликните здесь для просмотра всего текста

Windows Batch file

@set infile=0.txt
@set outfile=1.txt
@echo off
setlocal ENABLEDELAYEDEXPANSION
if exist !outfile! del /q !outfile!
for /f "tokens=* delims=" %%a in (!infile!) do (
    set line=%%a
    set newline=
    set err=0
    call :parsLine
    if !err!==0 echo !newline!>>!outfile!)
exit /b
:parsLine
set char=%line:~0,1%
set line=%line:~1%
set newline=!newline!!char!
echo.%line% | >nul findstr %char% &&set /a err+=1
if defined line goto parsLine
exit /b

@Cyber_F 2 / 2 / 0 Регистрация: 23.02.2014 Сообщений: 197
		1
	Удалить в текстовом файле каждую строку, в которой число повторов какого-либо символа превышает заданное 08.01.2015, 10:21. Показов 1493. Ответов 6 Метки нет (Все метки) подскажите пожалуйста. Есть .txt файл, в нем нужно по удалять строчки - где какой либо символ повторяется больше 2, 3 раз. пример: нужно удалить вот такие строки (в данном случае символ "1") - qw1t1, i1pk1O1, 1Pa01, 1GV1bn1nbg1. в каких - то случаях нужно удалить строчки где символ повторяется больше 2раз, а где - то больше 4раз. 0

Dragokas 18012 / 7713 / 892 Регистрация: 25.12.2011 Сообщений: 11,496 Записей в блоге: 16
	08.01.2015, 11:35	2
	Так ведь судя из примеров - больше 1 раза, а не 2-х. И уточните, что у Вас исходный файл - 100 mB и более. В какой кодировке исходный файл? 0

@Cyber_F 2 / 2 / 0 Регистрация: 23.02.2014 Сообщений: 197
	09.01.2015, 10:41 [ТС]	3
	Dragokas, - формат .txt, 100мб, т.к. 1Гб скрипты не поддерживают - зависают при обработке. п.с. иногда нужно что бы символ повторялся 1раз, а иногда оставить что бы символ повторялся не более 2, 3 раз. Добавлено через 22 часа 26 минут хотя бы чтоб символ не повторялся больше 6раз. 0

@Cyber_F 2 / 2 / 0 Регистрация: 23.02.2014 Сообщений: 197
	10.01.2015, 13:47 [ТС]	4
	пример: нужно удалить строчки где символ повторяется больше 6раз - ui1gf1hy1ju1ij1j1CX1w1ee1, oPhgPtqPcsPzPjPGGPwwwwP и т.д. 0

@Cyber_F 2 / 2 / 0 Регистрация: 23.02.2014 Сообщений: 197
	11.01.2015, 13:14 [ТС]	6
	YupiRex, спс, попробую. вообще словари создавались на основе 50символов. поэтому желательно пройтись по всем. файлы от 10~20мб норм переб. а что за 3 способ(он не запустился)? 0

	03.07.2015, 05:04