Re: Log files

From

Roman Vasin ()

To

All

Date

2000-03-03T21:11:28Z

Area

RU.ALGORITHMS

From: "Roman Vasin" <vasin@kaluga.ru>

>  RV> Кстати, решение с помощью деревьев решает проблему скорости, но, как
я
>  RV> понял не решает проблему с памятью, т.е. если лог на ~10Гб, то и
>  RV> деревьев, создастся на тот же порядок, это неподходит.
> Не совсем. Дерево создастся на такой объем, сколько там
> адресов. ie если в логе фигурирует ровно пять адресов,
> будет создано дерево из одной 4k странички. :-)
Понятно, обычно на один IP адрес повторяется 10-40 раз, т.е. с 10Гб,
получается минимум 100Мб на линейный список, на дерево наверное немного
побольше. Ведь при выполнении анализа, формируется не один отчет (по ip), а
штук 20.

> Кроме того, никто не мешает держать в памяти только
> текущую страничку. Потом можно будет написать небольшой
> кэш, который будет жрать _ровно_ столько памяти, сколько
> надо. Или на используемое место тоже есть ограничение?
Подробнее пожалуйста... Ограничений на память особых нет. Врочем анализатор
должен работать также и как cgi приложение т.е. на стороне сервера. Но это
уже не много не к месту,обычно стратегия такая - сколько памяти нужно,
столько и поставят.

В любом случае, вопрос здесь стоит в выборе более оптимального алгоритма
поиска, который был бы несколько эффективнее чем составление простого
списка.

Кстати, как обычно обрабатываются SQL запросы? Там кажется тоже используются
Б-деревья?.

--
Роман Васин,                          Калуга,    vasin@kaluga.ru
Home:      http://www.geocities.com/CapeCanaveral/2971/




--- ifmail v.2.15dev4
 * Origin: Demos online service (2:5020/400)