Форум системных администраторов

ssh тормозит (Вернуться в тему)

Slad

Размещено 08 February 2008 - 12:57

Имеется 65ка, в нее подключено 2 сервера линуксовых. Захожу на них по ssh, тормозит жутко сессия, выводит кусками как-то все. Переключаю их в 3750, ssh летает.
Для выяснения причины переделал сеть - создал vlan, поместил в него 2 порта, создал интерфейс. 65 для серверов является шлюзом. В итоге с сервера на сервер ssh работает сильно медленно. ssh перевесил на левый порт, осталось то же самое. При этом по фтп с них отдается по 700-900 мбит. Пинги между серверами ходят замечательно.
настройки портов: Код:

#sh int gi1/11 
GigabitEthernet1/11 is up, line protocol is up (connected) 
    Hardware is C6k 1000Mb 802.3, address is 0015.6336.ec1a (bia 0015.6336.ec1a) 
    Description: FTP 
    MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec, 
          reliability 255/255, txload 10/255, rxload 234/255 
    Encapsulation ARPA, loopback not set 
    Keepalive set (10 sec) 
    Full-duplex, 1000Mb/s 
    input flow-control is off, output flow-control is on 
    Clock mode is auto 
    ARP type: ARPA, ARP Timeout 04:00:00 
    Last input never, output never, output hang never 
    Last clearing of "show interface" counters never 
    Input queue: 0/2000/105/0 (size/max/drops/flushes); Total output drops: 52 
    Queueing strategy: fifo 
    Output queue: 0/40 (size/max) 
    5 minute input rate 917844000 bits/sec, 80485 packets/sec 
    5 minute output rate 40813000 bits/sec, 43061 packets/sec 
          5271517095 packets input, 7596041637146 bytes, 0 no buffer 
          Received 262 broadcasts (0 multicasts) 
          3 runts, 0 giants, 0 throttles 
          18 input errors, 0 CRC, 0 frame, 87 overrun, 0 ignored 
          0 watchdog, 0 multicast, 0 pause input 
          0 input packets with dribble condition detected 
          2781972193 packets output, 259447685871 bytes, 0 underruns 
          26 output errors, 0 collisions, 5 interface resets 
          0 babbles, 0 late collision, 0 deferred 
          0 lost carrier, 0 no carrier, 183302 PAUSE output 
          0 output buffer failures, 0 output buffers swapped out 

#sh int vl 5 
Vlan5 is up, line protocol is up 
    Hardware is EtherSVI, address is 000b.6094.3c00 (bia 000b.6094.3c00) 
    Description: FTP-NET 
    Internet address is 192.168.1.230/29 
    MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec, 
          reliability 255/255, txload 14/255, rxload 138/255 
    Encapsulation ARPA, loopback not set 
    Keepalive not supported 
    ARP type: ARPA, ARP Timeout 04:00:00 
    Last input 01:29:40, output 00:05:07, output hang never 
    Last clearing of "show interface" counters never 
    Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 0 
    Queueing strategy: fifo 
    Output queue: 0/40 (size/max) 
    5 minute input rate 1546540000 bits/sec, 135863 packets/sec 
    5 minute output rate 57623000 bits/sec, 74440 packets/sec 
    L2 Switched: ucast: 236784 pkt, 249174373 bytes - mcast: 74 pkt, 4736 bytes 
    L3 in Switched: ucast: 8672917825 pkt, 12508506886740 bytes - mcast: 0 pkt, 0 bytes mcast 
    L3 out Switched: ucast: 4504438002 pkt, 388152319267 bytes mcast: 0 pkt, 0 bytes 
          8673567186 packets input, 12509449768207 bytes, 0 no buffer 
          Received 70 broadcasts (0 IP multicasts) 
          0 runts, 0 giants, 0 throttles 
          0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored 
          4504769366 packets output, 388183375768 bytes, 0 underruns 
          0 output errors, 0 interface resets 
          0 output buffer failures, 0 output buffers swapped out

Включил в другой так же настроенный порт отдельную машину на FreeBSD, загрузка по интерфейсу Код:

  5 minute input rate 72000 bits/sec, 5 packets/sec 
  5 minute output rate 9000 bits/sec, 10 packets/sec

Но и в этом случае так же медленно ssh шевелится. Петли нет.
ps точно при такой же утилизации, и даже большей, в 3750 это никак не влияло на сессию ssh.
Подскажите как найти причину такого поведения 65-ки.

jujin

Размещено 08 February 2008 - 13:07

sh processes cpu history

Slad

Размещено 08 February 2008 - 13:15

jujin, 8.2.2008, 17:07, сказал(а):

sh processes cpu history

Загрузка все время 1-2%

jujin

Размещено 08 February 2008 - 13:21

sh logging .

Slad

Размещено 08 February 2008 - 13:26

В логах пишется только вход мой по телнету, да про то что конфиг сохраняется. Чего-либо аномального нету

jujin

Размещено 08 February 2008 - 13:27

Тогда sh version и sh run впридачу.

Slad

Размещено 08 February 2008 - 13:46

s72033-adventerprisek9_wan-mz.122-18.SXF11

upgrade fpd auto
version 12.2
service timestamps debug uptime
service timestamps log datetime localtime
no service password-encryption
service sequence-numbers
service counters max age 5
!
boot system flash disk0:s72033-adventerprisek9_wan-mz.122-18.SXF11.bin
boot system flash slavesup-bootdisk:s72033-adventerprisek9_wan-mz.122-18.SXF11.bin
logging buffered 32768 debugging
aaa new-model
aaa authentication login default local
aaa authentication login userauthen local group radius
aaa authorization exec default local
aaa authorization network groupauthor local
aaa authorization network userauthen group radius local
!
ip subnet-zero
ip icmp rate-limit unreachable 1000
ip icmp rate-limit unreachable DF 1000
ip dhcp snooping vlan 4-1000
ip dhcp snooping information option allow-untrusted
ip flow-cache entries 1024
ip multicast-routing
ip tcp timestamp

ip ssh source-interface Vlan3
ip ssh version 2
ip domain-lookup source-interface Loopback0
ip domain-name dom.ru
ip name-server x.x.x.x
ip name-server x.x.xx

ipv6 mfib hardware-switching replication-mode ingress
udld aggressive

vtp mode transparent
mls ip multicast flow-stat-timer 9
no mls flow ip
no mls flow ipv6
no mls acl tcam share-global
mls cef error action freeze
redundancy
 mode rpr-plus
 linecard-group 1 feature-card
  class load-sharing
  slot 8
  slot 9
 main-cpu
  auto-sync running-config
!
spanning-tree mode rapid-pvst
no spanning-tree optimize bpdu transmission
spanning-tree extend system-id
spanning-tree vlan 1-4094 priority 61440
environment temperature-controlled
diagnostic bootup level minimal
diagnostic cns publish cisco.cns.device.diag_results
diagnostic cns subscribe cisco.cns.device.diag_commands
errdisable recovery cause udld
errdisable recovery cause bpduguard
errdisable recovery cause security-violation
errdisable recovery cause channel-misconfig
errdisable recovery cause pagp-flap
errdisable recovery cause dtp-flap
errdisable recovery cause link-flap
errdisable recovery cause l2ptguard
errdisable recovery cause psecure-violation
errdisable recovery cause gbic-invalid
errdisable recovery cause dhcp-rate-limit
errdisable recovery cause mac-limit
errdisable recovery cause unicast-flood
errdisable recovery cause arp-inspection
errdisable recovery interval 30
fabric buffer-reserve queue
port-channel load-balance src-mac
!
vlan internal allocation policy ascending
vlan access-log ratelimit 2000
vlan 2
 name ControlVlan
vlan 5
 name FTP-net
!
interface Loopback0
 ip address x.x.x.x 255.255.255.255
!
interface GigabitEthernet1/4
 description freebsd_server
 switchport
 switchport access vlan 2
 switchport mode access
 ip arp inspection trust
 no ip address
 speed 100
 duplex full
 arp timeout 240
 ip dhcp snooping trust
interface GigabitEthernet1/11
 description FTP
 switchport
 switchport access vlan 5
 switchport mode access
 ip arp inspection trust
 no ip address
 speed 1000
 duplex full
 no cdp enable
 spanning-tree portfast
 spanning-tree bpdufilter enable
 spanning-tree bpduguard enable
 spanning-tree guard root
 ip dhcp snooping trust
!
interface Vlan2
 description Control
 ip address x.x.x.x 255.255.255.0
 ip route-cache same-interface
 logging event link-status
 no mop enabled
!
interface Vlan5
 description FTP-NET
 ip address x.x.x.x 255.255.255.248
!
router ospf 1
 router-id x.x.x.1
 log-adjacency-changes
 redistribute connected subnets
 redistribute static subnets
 passive-interface default
 no passive-interface Vlan2
 network x.x.x.0 0.0.0.255 area 0

типа такого

Rend

Размещено 08 February 2008 - 13:49

Flowcontrol на серверах включён? либо симметрично включите его (предпочтительно) либо симметрично выключите. Какие настройки сетевой карты?

Slad, 8.2.2008, 13:46, сказал(а):

типа такого

Так у вас 6500 или 7600?

Slad

Размещено 08 February 2008 - 13:59

flowcontrol не включал не выключал спецально, так же и при auto режиме, хоть на 100, хоть 1000мбитах.
у меня 6509.
Сделал
flowcontrol receive on
flowcontrol send on
на интерфейсе, не помогло.
На серваке mc работает примерно так: запускаю его, отрисовывается 2-3 линии, потом висит, нажимаю enter или еще что, отрисоввывает еще 4-5 строк, потом либо ждет либо рисует 5-6 строк.

Rend

Размещено 08 February 2008 - 14:06

А подключаетесь к тому же 6500? тогда сбросьте счётчики на интерфейсах и покажите их после того, как попробуете подсоединится по ssh.
У вас mtu всюду правильно выставлен?

Slad, 8.2.2008, 13:59, сказал(а):

Сделал
flowcontrol receive on
flowcontrol send on
на интерфейсе, не помогло.

На сервере тоже?

Slad

Размещено 08 February 2008 - 14:23

К 65 подключаюсь по ssh, проблем в работе с самой 65 не замечано.

#sh int gi1/4
GigabitEthernet1/4 is up, line protocol is up (connected)
  Hardware is C6k 1000Mb 802.3, address is 0015.6336.ec13 (bia 0015.6336.ec13)
  Description: freebsd
  MTU 1500 bytes, BW 100000 Kbit, DLY 10 usec,
	 reliability 255/255, txload 1/255, rxload 1/255
  Encapsulation ARPA, loopback not set
  Keepalive set (10 sec)
  Full-duplex, 100Mb/s
  input flow-control is on, output flow-control is on
  Clock mode is auto
  ARP type: ARPA, ARP Timeout 00:04:00
  Last input never, output 00:00:51, output hang never
  Last clearing of "show interface" counters 00:00:07
  Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 102000 bits/sec, 3 packets/sec
  5 minute output rate 17000 bits/sec, 18 packets/sec
	 20 packets input, 4999 bytes, 0 no buffer
	 Received 0 broadcasts (0 multicasts)
	 0 runts, 0 giants, 0 throttles
	 0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
	 0 watchdog, 0 multicast, 0 pause input
	 0 input packets with dribble condition detected
	 139 packets output, 18043 bytes, 0 underruns
	 0 output errors, 0 collisions, 0 interface resets
	 0 babbles, 0 late collision, 0 deferred
	 0 lost carrier, 0 no carrier, 0 PAUSE output
	 0 output buffer failures, 0 output buffers swapped out

mtu 1500 стоит, пинги по 1500 и больше ходят без потерь. Как включить flowcontrol на freebsd как-то не нашел.

Rend

Размещено 08 February 2008 - 14:29

ifconfig -a покажи на freebsd

Slad, 8.2.2008, 14:23, сказал(а):

К 65 подключаюсь по ssh, проблем в работе с самой 65 не замечано.

т.е. ты дальше с 6500 подключаешься по ssh?

Slad

Размещено 08 February 2008 - 14:35

fxp1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=48<VLAN_MTU,POLLING>
ether 00:11:11:95:06:33
inet x.x.x.2 netmask 0xffffffc0 broadcast x.x.x.63
media: Ethernet 100baseTX <full-duplex>
status: active
это с того сервака, у самой 65 ип x.x.x.1, захожу с шлюза для них обоих. в te3/1 подключена 3750, за ней еще куча серваков, на них по ssh хожу нормально.
хм, телнет так же не адекватно себя ведет.

Rend

Размещено 08 February 2008 - 14:42

У тебя speed mismatch. На 6500 указан гигабит, на сетевухе - 100.

Slad

Размещено 08 February 2008 - 14:47

да нет, 100.
в конфиге
speed 100
duplex full

да и
sh int gi1/4
GigabitEthernet1/4 is up, line protocol is up (connected)
Hardware is C6k 1000Mb 802.3, address is 0015.6336.ec13 (bia 0015.6336.ec13)
Description:freebsd
MTU 1500 bytes, BW 100000 Kbit, DLY 10 usec,
reliability 255/255, txload 1/255, rxload 1/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
Full-duplex, 100Mb/s

Rend

Размещено 08 February 2008 - 14:50

Хм, действительно.
Погоди. А в interface GigabitEthernet1/11 у тебя что воткнуто? Нарисуй схему, я уже запутался.

Slad

Размещено 10 February 2008 - 17:39

Схема сети в прикрепленном файлике.

Slad

Размещено 12 February 2008 - 16:33

Проверил как поведет себя ssh при выключенных фтп - загрузка была порядка 300 мбит по vlan2, но ssh также тормозил. Что интересно, копировал через scp с freebsd - скорость была 9-10 МБ/с.

Belka

Размещено 12 February 2008 - 21:41

Можно я тоже свои 5 копеек вставлю...

Как давно была замечена проблема? Какие изменения вносились в конфигурацию (программную или аппаратную) перед тем, как была замечена проблема?

Это приведен актуальный конфиг, с которым проблемы и имеются?
Я хочу несколько вопросов по нему задать...
1. Почему сорс влан 3? Я его в конфиге не нашла..

Slad, 8.2.2008, 12:46, сказал(а):

ip ssh source-interface Vlan3

2. На схеме изображено, что все серверы находятся в одном влане, по конфигу вижу, что в разных. Поясните, пожалуйста. Если это конфиг не от этой схемы, приложите, пожалуйста, конфиг от схемы. И желательно целиком... Ок? Кроме того, если не сложно, пишите, пожалуйста, адреса. Замените реальные на какие-то отфонарные серые. Лично мне читать конфиг с иксами сложно... Думаю, не только мне. Ок?
+

Slad, 8.2.2008, 11:57, сказал(а):

Захожу на них по ssh, тормозит жутко сессия, выводит кусками как-то все.

Можете показать?
+
Счетчики ошибок с интерфейсов. Там везде на всех интерфейсах нули? Если есть интерфейсы с ошибками и т.п. посмотрите, пожалуйста, до и после сессии количество ошибок, и расскажите, увеличиваются их значения, или нет.

Роутер под большой нагрузкой? Или можно позволить себе включить debug ip ssh и потом еще отдельно сделать debug ip tcp transactions для "кривой" сессии? Может, у нас мысли какие позитивные появятся при чтении дебагов..

П.С. А вообще этот IOS лучше обновить... По нему есть advisories всякие нехорошие...