Re: Linux and FreeBSD
- From
- Constantin Stefanov (2:5020/400)
- To
- Slawa Olhovchenkov (2:5054/37.63)
- Date
- 2005-05-30T13:56:42Z
- Area
- RU.UNIX.BSD
From: Constantin Stefanov <cstef@mail.ru>
Slawa Olhovchenkov wrote:
> >> А какая latency у вышеописанных технологий?
> CS> InfiniBand - 4-5 мкс (это уже на программном уровне, но ниже MPI, что-то
> CS> вроде ping), SCI - 1.2 мкс (железная), 4 получается уже на уровне MPI.
> CS> Что там у Myrinet - судя по сайту, 2.7 мкс на железе, плюс где-то 0,15
> CS> до MPI.
>
> Это прости, что мерялось, а? Или это "петька, приборы! 17! что 17? а что
> приборы?"
> комп в комп в тыкается или есть какой-то свитч?
> какой размер пакета?
> А то время передачи 1500 байт по гигабитному каналу 1500*8/10^9*10^6=12мкс.
Чтобы не быть голословным, вот тебе результат быстрого теста для
InfiniBand. По всей видимости, это не round-trip delay, а просто
задержка от начала передачи сообщения джо его полного приема картой на
том конце.
Длина латентность,
сооб- мкс
щения,
байт
0 5.7
1 5.97
10 6.01
100 6.35
1000 9.82
1500 10.27
1501 10.26
2000 10.88
5000 13.27
10000 19.44
100000 127.48
Система не самая лучшая (свитч не фонтан, да и глюк в матери мешает),
поэтому получается больше 5 мкс. 4 мкс, по утверждению разработчика,
достигается на PCI Express.
Теперь жду от тебя аналогичной таблички на гигабитный эзернет, и , в
идеале, на 10 Gb.
Что куда тыкается - это от технологии зависит. InfiniBand и Myrinet -
там свитч есть. В SCI - нет, там станции обйединены в тор (одномерный,
двумерный или трехмерный, есть варианты).
Сразу насчет соседнего письма. В Myrinet - точно не store-and-forward,
там на каждое сообщение пробивается что-то типа виртуального канала. А
уж свитч устроен так, чтобы это все блокировалось как можно реже (не
уверен, что там используется схема вообще свободная от блокировок, но
такое может быть).
В InfiniBand - точно не знаю. Вероятно, тоже не store-and-forward. Там
внутри свитча fat-tree, т.е. такая схема, которая может коммутировать
одноверменно любые пары портов без блокировок (то есть скорость обмена
пары узлов не зависит от того, какая нагрузка на остальных парах).
А теперь объясни, где там ЖОПА в не store-and-forward.
Теперь насчет драйверов. Во-первых, в этих технологиях нет такого
маленького ограничения на макс. размер пакета. Я не знаю, где он какой,
но даже если инкрементировать размер сообщения по единичке, то скачка,
как на ethernet от 1500 к 1501 ты не получишь, т.е. меньше прерывания.
Во-вторых, на InfinBand релизована хитрая технология RDMA (Remote DMA),
которая позволяет дать карточке команду "отслать вот эту область данных
(ну или принять от того-то туда-то)", после чего весь процесс произойдет
без прерываний, т.е. опять имеем уменьшение нагрузки. На карте стоит
достаточно большая своя память (от 128 МБ), так что опять часто дергать
не приходится. На карте релизована аппаратно что-то вроде схемы портов
для TCP, т.е. карта сама может разбираться, какой поток для какой
программы и запихивать его в нужную область ОЗУ без участия драйверов.
> CS> А что касается пропускных способностей, то тут InfiniBand впереди
> CS> планеты всей. У них сейчас есть карты на 2 порта по 10Гбит/сек, с
> CS> возможностью аппаратного объединения.
>
> 10GE уже год как есть.
Вероятно, это будет альтернативой. Оно слишком недавно появилось, чтобы
получить широкое распространение. Хотя опять-таки надо смотреть на
параметры и цены.
--
Константин Стефанов
--- ifmail v.2.15dev5.3
* Origin: Demos online service (2:5020/400)
SEEN-BY: 46/50 50/203 520 400/814 450/159 186 247 1024 451/30 461/43 132 640
SEEN-BY: 469/999 550/196 4616/3 4625/8 4627/10 4635/4 4652/15 5000/76 5000
SEEN-BY: 5006/1 5007/1 5010/70 5011/13 5015/10 5019/31 5020/52 118 154 175 194
SEEN-BY: 5020/400 545 549 604 715 758 830 937 1057 1523 1604 1630 1922 2020
SEEN-BY: 5020/2142 2238 2450 2590 4441 5021/29 5022/128 5025/3 750 5026/45
SEEN-BY: 5027/16 5029/32 5030/49 115 473 500 556 966 1063 1900 5031/70 72
SEEN-BY: 5034/13 5035/3 38 5036/1 34 5042/13 5049/1 50 97 5051/15 5054/1 4 8 9
SEEN-BY: 5054/28 35 36 37 63 66 67 70 75 81 84 85 5055/95 5057/1 5060/88
SEEN-BY: 5061/15 5062/1 10 5063/3 5066/18 5067/2 5069/7 5070/1222 5074/9
SEEN-BY: 5075/5 35 5079/23 5080/80 1003 5081/2 5082/6 5083/21 5085/13 5090/108
SEEN-BY: 5095/20 5096/18 6000/12 254 6001/3 10
PATH: 5020/400 4441 545 5054/1 37