Re: создание/удаление миллиона файлов

From

Eugene Grosbein (2:5006/1)

To

Boris Samorodov

Date

2007-01-15T00:50:46Z

Area

RU.UNIX.BSD

Reply-To: eugen@grosbein.pp.ru

14 янв 2007, воскресенье, в 20:09 KRAST, Boris Samorodov написал(а):

 EG>> Попробовал воспроизвести
 EG>> http://groups.google.com/group/fido7.ru.unix.bsd/msg/f3aa909c54b394cf
 EG>> на шестерке и офигел.
 EG>> Краткое содержание предыдущей серии: FreeBSD 4, Celeron 900E, 320M RAM,
 EG>> диск IBM 40G ATA100 в режиме ATA33+tags, noasync+softupdates,
 EG>> раздел 15G с 1.5Gb и 3.5 миллионов inode свободных. 
 EG>> 20000 файлов в каталоге создавало за 2 секунды, причем как первые 20000
 EG>> из миллиона, так и последние. Из-за особенностей реализации dirhash
 EG>> в четверке (тормоза в момент расширения хеша) общее время создания
 EG>> миллиона файлов в каталоге 179 секунд (три минуты), или 5586 файла
 EG>> в секунду.

 EG>> Сейчас запустил тот же самый скрипт на FreeBSD 6.2-PRE, Pentium-D
 EG>> 2x2.8Gb,
 EG>> 1Gb RAM, диск WDC 80G WD800JB-00FMA0 в режиме ATA100 (без TQ),
 EG>> noasync+softupdates, раздел UFS2, 22G с 2Gb и 2.5 миллионов inode
 BS> свободных,
 EG>> ядро SMP, vfs.ufs.dirhash_maxmem: 8388608.
 EG>> Скорость создания - 666 файлов в секунду против 10000 на четверке.
 EG>> то есть 6% от прежней. Вот это прогресс...

 BS> Число мистическое. ;-)
 BS> Проверь параметры теста. У меня на двух 6.2-PRE 21-25 тыс.файлов в сек.

Не понимаю, что тут проверять. Сейчас загрузил на этой же машине
ту самую четверку, только она сейчас живет на WDC 200Gb WD2000JB-00REA0,
раздел UFS1 такого же размера, 15Gb и 2.9 миллионов inode свободных -
скорость создания 277 файлов в секунду. Вернулся в шестерку - на этом
диске та же скорость.

У тебя на 6.2-PRE 21-25 тысяч файлов не на SCSI-ли?
Если да, значит дело в tagged queueing. Очень жаль, что тот AVER у меня сдох.

Кроме tagged queueing еще разница в контроллере - хорошие результаты
у меня на четверке были с интегрированным контроллером в i440BX (ATA-33),
а тормоза сейчас на Promise UltaATA 100 TX2 PCI.

Eugene
-- 
Choose SMTP and wondering why the fsck you are logged on on a Sunday morning
--- slrn/0.9.8.0 (FreeBSD)
 * Origin: Svyaz Service JSC (2:5006/1@fidonet)
SEEN-BY: 50/12 400/814 450/159 1024 461/43 132 640 469/999 4616/3 4625/8
SEEN-BY: 4641/444 5000/76 5000 5006/1 8 9 14 16 17 5007/1 5010/70 5011/13
SEEN-BY: 5012/46 5015/28 5019/26 5020/18 175 194 400 545 982 1057 1909 1922
SEEN-BY: 5020/2238 2395 2871 4441 5021/29 5025/3 5026/14 45 5027/12 5030/1080
SEEN-BY: 5030/1957 5034/10 13 5035/38 5036/1 5045/7 5049/1 5051/15 5054/1 4 8
SEEN-BY: 5054/9 11 28 35 36 37 45 66 67 70 75 84 85 5059/9 5060/88 5061/15
SEEN-BY: 5062/10 5063/3 5064/7 5066/18 5075/5 5076/1 5077/70 5084/9 5085/13
SEEN-BY: 5095/20 5096/18 6001/10

PATH: 5006/1 5020/400 545 5054/1 37