торможение (процесс-вредитель?) сервера

From

Serge Barkov (2:5020/400)

To

All (2:5054/37.63)

Date

2006-08-30T17:39:56Z

Area

RU.UNIX.BSD

From: "Serge Barkov" <sbarkov@cea.ru>

Hi All,

Проработал один сервер два года и вдруг начались с ним проблемы. Описать
могу только как это выглядит.

Все начинает работать очень медленно, а при попытке выполнить любую команду
с консоли долго думает и выдает Abort trap. Через несколько секунд (или
минут) торможение исчезает, потом появляется опять. Судя по процессам на
сервере, все выглядит так, как будто они то приостанавливаются, то
запускаются опять. Как если бы система для выполнения свопилась бы (но свопа
нет). Или диск нестабильно работает (но ни на консоли ничего
подозрительного, ни скорость не уменьшилась от обычной).
Дольше всего выполняются операции, связанные с диском. Даже просто
"окончание команды в bash по tab" чаще всего вводит машину в задумчивость.

Сервер FreeBSD 5.3-RELEASE-p28. Когда это началось, uptime был большее 60
дней. Перегрузка ничего не меняет.
Железо - 2 xeon, raid FastTrak (2 sata-диска в зеркале).
Сразу после того, как удается ввести команду, видно, что "load average"
30-40-50 или больше. Но top не показывает никакого подозрительного
процесса - такое впечатление, что что-то все время запускается и исчезает.
Как отследить, в чем дело?
Своп не используется. Пример вывода top:

last pid: 72610;  load averages: 25.98, 21.73, 14.26    up 0+01:53:26
16:24:52
507 processes: 2 running, 505 sleeping
CPU states: 29.5% user,  0.0% nice, 25.4% system,  1.9% interrupt, 43.2%
idle
Mem: 1075M Active, 2003M Inact, 200M Wired, 46M Cache, 15M Buf, 317M Free
Swap: 8192M Total, 8192M Free

До возникновения проблем load average была обычно 1-2-3. Но ведь idle
нормальный...
systat -iostat показывает, что диск достаточно нагружены все время (~ 80%),
но и раньше были так же нагружены.

Процессов живет много - 500-1000, но нет (не удается засечь) ни одного,
который бы заметно выделялся потребляемыми ресурсами.
Скорее всего какой-то процесс начинает все выедать (что?), но засечь его не
получается.
Подозреваю, что все просто, только смотрю не в ту сторону... куда надо?

Вопрос: куда копать?

Serge



--- ifmail v.2.15dev5.3
 * Origin: CEA (2:5020/400)
SEEN-BY: 50/12 203 400/814 450/159 186 1024 451/30 461/43 132 640 469/999
SEEN-BY: 550/196 4616/3 4625/8 4635/4 4641/444 5000/76 5000 5006/1 5007/1
SEEN-BY: 5010/70 352 5011/13 5012/46 5015/28 5019/31 5020/18 154 175 194 400
SEEN-BY: 5020/545 549 715 758 982 1057 1523 1604 1630 1909 1922 2142 2238 2395
SEEN-BY: 5020/2450 2590 2871 4441 5021/3 29 5022/128 5025/3 750 5026/45
SEEN-BY: 5027/12 5029/32 5030/49 500 556 966 1063 1080 1900 1957 2828 5031/47
SEEN-BY: 5031/70 5034/10 13 5035/3 38 5036/1 5040/47 5042/13 5045/7 5049/1 50
SEEN-BY: 5049/97 5051/15 5054/1 4 8 9 11 28 35 36 37 45 63 66 67 70 75 84 85
SEEN-BY: 5055/95 5057/1 5059/9 5060/88 5061/15 5062/1 10 5063/3 5064/7 5066/18
SEEN-BY: 5074/9 5075/5 5077/70 5080/80 1003 5082/6 5083/21 5085/13 5090/108
SEEN-BY: 5094/4 5095/20 5096/18 5099/11 6001/3 10

PATH: 5020/400 4441 545 5054/1 37