Re: Log files

From

Roman Vasin ()

To

All

Date

2000-03-02T18:08:31Z

Area

RU.ALGORITHMS

From: "Roman Vasin" <vasin@kaluga.ru>

> Нужно:
> Разобрать формат лога, при необходимости написать фильтр или
> конвертор в фиксированный формат. По опыту - логи не содержат
> более трех-четырех типов записей и конвертер пишется за пару
> часов. Все что надо - привести записи в одинаковый вид.
>
> Импортировать все записи в базу. Любую - ACCESS вполне
> подойдет.
>
> Выполнить один запрос с группировкой и получить результат.
> Несколько миллионов - минут на 30-40.
>
> Часа на три работы. И то если встраивать проверку в базу.
>
> 2BR Возможно работа со страничками 4к и B-деревьями
> позволит получить более быструю программу, но суммарное
> время на разработку + разовый (в месяц) расчет будет
> значительно больше.
>
Задача состояла то в том, чтобы сделать выборку наискорейшим способом +
минимальные требования к памяти. Ты же предлагаешь решение к другой задаче -
как можно быстрее написать программу, которая выполняет такой поиск, это
разные вещи.

Кстати, решение с помощью деревьев решает проблему скорости, но, как я понял
не решает проблему с памятью, т.е. если лог на ~10Гб, то и деревьев,
создастся на тот же порядок, это неподходит.

Можно ли построить алгоритм, который бы решал эту задачу не абсолютно точно,
а как бы "статистически" точно? т.е. результат являлся бы некоторым
ПРИБЛИЖЕННЫМ значением ТОЧНОГО результата?

Роман Васин
vasin@kaluga.ru





--- ifmail v.2.15dev4
 * Origin: Demos online service (2:5020/400)