Re: mysqld vs awk vs perl

From

Valentin Davydov (2:5020/400)

To

Vadim Goncharov (2:5054/37.63)

Date

2006-11-17T10:33:30Z

Area

RU.UNIX.BSD

From: Valentin Davydov <val@sqdp.trc-net.co.jp>

>   From: Vadim Goncharov <vadimnuclight@tpu.ru>
>   Date: Thu, 16 Nov 2006 10:03:17 +0000 (UTC)
>
> VS>>>> Более того, на простых запросах и больших таблицах они все сливают
> VS>>>> awk-у.
> VK>>> awk медленный и сливает перлу
> >>> Есть замеры?
> AK>>  Вычисление 30 числа фибоначчи при помощи рекурсивной функции:
> AK>> awk:
> AK>>    1,91 real         1,90 user         0,00 sys
> AK>> perl:
> AK>>    4,84 real         4,81 user         0,00 sys
> AK>> python:
> AK>>    1,76 real         1,75 user         0,00 sys
> AK>> ruby:
> AK>>    3,38 real         3,29 user         0,00 sys
> >>
> >>Это конечно интересно, но речь вообще-то шла о текстовой базе, которую
> >>обрабатывает awk vs perl, хотя бы простую сумму значений n-го столбца.
> VD> Потерпи недельку-другую, я чистый эксперимент ставлю (awk vs sql). "Чистый"
> VD> в том смысле, что не только база в ОЗУ не помещается, но и awkовый массив
> VD> промежуточных результатов. Когда (если ;-) отселектится, сообщу.
>
>Гм, что ж там за база-то, что оно недельку селектится? :)

Трафик через некий роутер, за достаточно большой промежуток времени. 
Каждя запись - tcp соединение (timestamp, от кого, кому, сколько пакетов
и байт в ту и в другую сторону и ещё несколько вспомогательных полей).
Всего около миллиарда зписей. Индексы построены, в честности, по обоим 
полям IP-адресов. Ну, и несколько вспомогательных таблиц, не использующихся 
в эксперименте. Пикантность данных в том, что среди них есть как великое 
множество одиночных записей с уникальными IP-адресами, так и некоторое 
количество IP-адресов с великим множеством записей о каждом.

>Не забудь запросы привести и несколько строчек из базы для примера :)

Разумеется. Если получится. Впрочем, примерно треть всего Интернета уже 
отселектилась, так что надеюсь дождаться.

Вал. Дав.
--- ifmail v.2.15dev5.3
 * Origin: Demos online service (2:5020/400)
SEEN-BY: 50/12 400/814 450/159 1024 461/43 132 640 469/999 4616/3 4625/8
SEEN-BY: 4641/444 5000/76 5000 5006/1 5007/1 5010/70 5011/13 5012/46 5015/28
SEEN-BY: 5019/31 5020/18 175 194 400 545 982 1057 1909 1922 2238 2395 2871
SEEN-BY: 5020/4441 5021/29 5025/3 5026/14 45 5027/12 5030/1080 1957 5034/10 13
SEEN-BY: 5035/3 38 5036/1 5045/7 5049/1 5051/15 5054/1 4 8 9 11 28 35 36 37 45
SEEN-BY: 5054/63 66 67 70 75 84 85 5059/9 5060/88 5061/15 5062/10 5063/3
SEEN-BY: 5064/7 5066/18 5075/5 5076/1 5077/70 5080/1003 5084/9 5085/13 5095/20
SEEN-BY: 5096/18 6001/10

PATH: 5020/400 545 5054/1 37