Редкостное маньячество

[shoorick]

Дано:

0. текстовой файл объёмом в 2 ГБ (130 млн строк), из коего надо добывать и обрабатывать некие данные;
1. нежелание ковыряться во всём файле, ибо для тренировки хватит и небольшого фрагмента.

Как поступает нормальный человек, живущий под окнами? Он берёт любимый редактор и начинает отрезать лишнее.

Как поступает ленивый человек? Он заливает файл на ближайший юниксовый сервер и вспоминает о наличии команд head и tail и отрезает лишнее ими.

Как поступает автор, не желающий бездарно гонять гигабайты по сети? Он ставит себе cygwin и уже под ним запускает и head, и tail, и man...

Comments

[bitlz.livejournal.com]

:)
http://bitlz.pp.ru/pics/winkde.jpg

:-)

[shoorick.livejournal.com]

Ага. Ты как-то рассказывал... :-D

[ex-aka-scan.livejournal.com]

женя, прими мои восхищения:)

[ypq.livejournal.com]

2 гига текста ковырять под маздаем?!
мазохизм по-любому.

Дык ить

[shoorick.livejournal.com]

Живу я под ним! Более того, ковыряльный скрипт будет в итоге тоже под маздаем шуршать. И обрабатывать за раз несколько файлов по 2 гига...

[logicz.livejournal.com]

А чё это за хитрый файл на 2 гига? Что за задача вообще?

Файл на 2 гига

[shoorick.livejournal.com]

Лог. Причём рядом с ним таких же — на 25 ГБ в rar-архивах.

Re: Файл на 2 гига

[logicz.livejournal.com]

Да, было время, когда мы парсили логи, когда билинговую систему писали... Прикольно!

Re: Файл на 2 гига

[ex-aka-scan.livejournal.com]

надеюсь не лог чата?:)

Нет

[shoorick.livejournal.com]

Не чата

[rikkardo.livejournal.com]

больно охота цыгвин искать когда ms cl под рукой :)

#define OFFSET 12345677
#define SIZE 4096
void main(void)
{
   char buf[SIZE];
   FILE *f = fopen("file.txt", "rb");
   fseek(f, OFFSET, SEEK_SET), fread(buf, SIZE, 1, f), fclose(f);
   f = fopen("file2.txt", "wb"), fwrite(buf, SIZE, 1, f), fclose(f);
}

У кого что

[shoorick.livejournal.com]

У а меня цигвин под рукой был.
Хотя перл под рукой был тоже... :-)
На C я уже давно не пишу...