Re: создание/удаление миллиона файлов

From

Vlad Gnatov (2:5020/400)

To

Eugene Grosbein

Date

2007-01-15T15:46:20Z

Area

RU.UNIX.BSD

From: Vlad Gnatov <stalker@rm-rf.kiev.ua>

Eugene Grosbein пишет:
EG>>>>> Скорость создания - 666 файлов в секунду против 10000 на четверке.
EG>>>>> то есть 6% от прежней. Вот это прогресс...
EG>>> SATA? TQ работает?
VG>> Как я и предполагал, дело совсем не в железе.
VG>> Алокатор dirhash тупой. Т.к. dirhash при resize создается заново,
VG>> то начиная с некоторого размера линейное увеличение невыгодно.
EG> Ты говоришь немножко о другой проблеме. У меня еще до расширения
EG> хеша скорость создания первых 10000 файлов - 666 штук в секунду.
EG> От чего это может быть, такие тормоза?
Я шо тилипат? Попробуйте максимально исключить влияние железа.
Т.е. создайте диск в памяти и проверьте на нем.

p.s. Пока рекорд 35 сек на похаканом алокаторе. Обычные сигейты
ST3400620AS, ST3320620A.

p.p.s. Также можете заменить скрипт программой:

#include <sys/types.h>
#include <sys/stat.h>
#include <sys/sysctl.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <time.h>

int main(void)
{
    static time_t tval;
    int fd, n, btime, spent, i, j;
    int count = 50;
    int step = 20000;

    size_t len;
    int mem;

    len = sizeof(mem);

    if (mkdir("d", 0700) < 0)
	perror("mkdir");

    sysctlbyname("vfs.ufs.dirhash_expandratio", &mem, &len, NULL, 0);
    printf("vfs.ufs.ufs.dirhash_expandratio=%d\n", mem);

    sysctlbyname("vfs.ufs.dirhash_maxmem", &mem, &len, NULL, 0);
    printf("vfs.ufs.dirhash_maxmem=%d\n", mem);

    printf("creating...\n");

    btime = time(&tval);
    n = spent = 0;
    for (i=1; i<=count; i++) {
	for (j=1; j<=step; j++) {
	    char name[10];
	    sprintf(name, "d/%d.%d", i, j);
	    fd = open(name, O_CREAT, 0600);
	    close(fd);
	}
	n += step;
	spent = time(&tval) - btime;
	printf("created %d: %d sec, %d files/sec, ", n, spent, n/spent);

	sysctlbyname("vfs.ufs.dirhash_mem", &mem, &len, NULL, 0);
	printf("vfs.ufs.dirhash_mem=%d\n", mem);
    }

    printf("removing...\n");

    btime = time(&tval);
    for (i=1; i<=count; i++) {
	for (j=1; j<=step; j++) {
	    char name[10];
	    sprintf(name, "d/%d.%d", i, j);
	    unlink(name);
	}
    }

    if (rmdir("d") < 0)
	perror("rmdir");

    spent = time(&tval) - btime;
    printf("removed: %d sec, %d files/sec\n", spent, (count * step) / spent);

    return(0);
}
-- 
Отправлено через сервер Форумы@mail.ru - http://talk.mail.ru
--- ifmail v.2.15dev5.3
 * Origin: Talk.ru (2:5020/400)
SEEN-BY: 50/12 400/814 450/159 1024 461/43 132 640 469/999 4616/3 4625/8
SEEN-BY: 4641/444 5000/76 5000 5006/1 5007/1 5010/70 5011/13 5012/46 5015/28
SEEN-BY: 5019/26 5020/18 175 194 400 545 982 1057 1909 1922 2238 2395 2871
SEEN-BY: 5020/4441 5021/29 5025/3 5026/14 45 5027/12 5030/1080 1957 5034/10 13
SEEN-BY: 5035/38 5036/1 5045/7 5049/1 5051/15 5054/1 4 8 9 11 28 35 36 37 45
SEEN-BY: 5054/66 67 70 75 84 85 5059/9 5060/88 5061/15 5062/10 5063/3 5064/7
SEEN-BY: 5066/18 5075/5 5076/1 5077/70 5084/9 5085/13 5095/20 5096/18 6001/10

PATH: 5020/400 545 5054/1 37