题 两个位置的Cisco交换机之间的高延迟/丢弃。如何排除故障?


我收到用户抱怨大型仓库设施的两个部分之间网络应用程序性能不佳的问题。该软件是在Linux服务器上运行的基于curses的终端应用程序。客户端是运行telnet或SSH客户端的PC。麻烦在一天前开始,最近没有(已知的)环境变化。

核心交换机是 Cisco Catalyst 4507R-E 在里面 MDF,链接到4个成员的Cisco Catalyst 2960交换机堆栈 IDF......它们通过多模光纤连接。服务器位于MDF中。受影响的客户在以色列国防军。

从Linux应用程序服务器ping到整个建筑物的2960堆栈管理地址显示出高差异和a 批量 延迟:

--- shipping-2960.mdmarra.local ping statistics ---
864 packets transmitted, 864 received, 0% packet loss, time 863312ms
rtt min/avg/max/mdev = 0.521/5.317/127.037/8.698 ms

但是,从应用程序服务器ping到客户端计算机更加一致:

--- charles-pc.mdmarra.local ping statistics ---
76 packets transmitted, 76 received, 0% packet loss, time 75001ms
rtt min/avg/max/mdev = 0.328/0.481/1.355/0.210 ms

没有相关的Linux接口或交换机端口显示错误(看到问题的底部)。

我该如何解决这个问题? 

  • 有一种简单的方法来确定端口活动吗?
  • 交换机管理IP上的ping差异是否需要测量?
  • 这可能是流氓PC的结果吗?
  • 由于问题被隔离到建筑物的一部分,我还应该检查其他什么吗?仓库中的其他用户都很好,没有任何问题。

编辑:

后来我发现由于这个bug,Cisco 2960的CPU利用率非常高 详细说明


从2960堆栈......

shipping-2960#sh int GigabitEthernet1/0/52
GigabitEthernet1/0/52 is up, line protocol is up (connected) 
  Hardware is Gigabit Ethernet, address is b414.894a.09b4 (bia b414.894a.09b4)
  Description: TO_MDF_4507
  MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec, 
     reliability 255/255, txload 13/255, rxload 1/255
  Encapsulation ARPA, loopback not set
  Keepalive not set
  Full-duplex, 1000Mb/s, link type is auto, media type is 1000BaseSX SFP
  input flow-control is off, output flow-control is unsupported 
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input 00:00:00, output 00:00:01, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 441
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 3053000 bits/sec, 613 packets/sec
  5 minute output rate 51117000 bits/sec, 4815 packets/sec
     981767797 packets input, 615324451566 bytes, 0 no buffer
     Received 295141786 broadcasts (286005510 multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     0 watchdog, 286005510 multicast, 0 pause input
     0 input packets with dribble condition detected
     6372280523 packets output, 8375642643516 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 PAUSE output
     0 output buffer failures, 0 output buffers swapped out

额外输出:

Cisco 4507R-E CPU利用率 - 已排序。

Cisco 2960 CPU利用率 - 已排序。

tcam利用率为2960. 4507上没有。

shipping-2960# show platform tcam utilization

CAM Utilization for ASIC# 0                      Max            Used
                                             Masks/Values    Masks/values

 Unicast mac addresses:                       8412/8412        335/335   
 IPv4 IGMP groups + multicast routes:          384/384           1/1     
 IPv4 unicast directly-connected routes:       320/320          28/28    
 IPv4 unicast indirectly-connected routes:       0/0            28/28    
 IPv6 Multicast groups:                        320/320          11/11    
 IPv6 unicast directly-connected routes:       256/256           1/1     
 IPv6 unicast indirectly-connected routes:       0/0             1/1     
 IPv4 policy based routing aces:                32/32           12/12    
 IPv4 qos aces:                                384/384          42/42    
 IPv4 security aces:                           384/384          33/33    
 IPv6 policy based routing aces:                16/16            8/8     
 IPv6 qos aces:                                 60/60           31/31    
 IPv6 security aces:                           128/128           9/9     

Cisco 2960 CPU利用率历史记录......

shipping-2960#show processes cpu history

    3333333444443333344444444443333333333444443333344444444443
    9977777111119999966666222229999977777555559999911111000008
100                                                           
 90                                                           
 80                                                           
 70                                                           
 60                                                           
 50                  *****               *****                
 40 **********************************************************
 30 **********************************************************
 20 **********************************************************
 10 **********************************************************
   0....5....1....1....2....2....3....3....4....4....5....5....
             0    5    0    5    0    5    0    5    0    5    
               CPU% per second (last 60 seconds)

    4488887787444454444787888444444454677774444444447888544444
    6401207808656506776708000447546664789977697589953201636647
100                                                           
 90                                                           
 80   *###*##*         *#*##*          *#**          ###      
 70   #######*         *#####         *###*         *###      
 60   #######*         *#####       * *####         *###*     
 50 * ########*********######  ** *** *####*********####* ** *
 40 ##########################################################
 30 ##########################################################
 20 ##########################################################
 10 ##########################################################
   0....5....1....1....2....2....3....3....4....4....5....5....
             0    5    0    5    0    5    0    5    0    5    
               CPU% per minute (last 60 minutes)
              * = maximum CPU%   # = average CPU%

    8889888888888888988888889888888888888888888888888888888888888888898889
    2322334378633453364454472653323431254225563228261399243233354222402310
100                                                                       
 90    *    ***   * **  *  ****        *   ***   * *  **       *     *   *
 80 *#############################*********************************#******
 70 *#####################################################################
 60 *#####################################################################
 50 ######################################################################
 40 ######################################################################
 30 ######################################################################
 20 ######################################################################
 10 ######################################################################
   0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
             0    5    0    5    0    5    0    5    0    5    0    5    0 
                   CPU% per hour (last 72 hours)
                  * = maximum CPU%   # = average CPU%

7
2018-05-10 12:46




2960有镜像端口吗? - Hauke Laging
不,没有运行任何span /镜像端口。 - ewwhite
什么版本的IOS在2960-S上?任何慢速响应ping 2960-S ...打印机本地的任何东西?从4507 ping Linux服务器的响应是否缓慢? - GerryEgan


答案:


Cisco交换机将ICMP置于优先级列表的底部。如果我们ping一个繁忙的3750-X,我们会得到相同的结果。

您需要查看交换机上的系统利用率,因为我怀疑它们非常繁忙以至于它们正在对数据包进行软件处理。你在这些服务上运行任何类型的第3层服务吗?

IOS 12.2.53中存在一个相当严重的错误:

CSCth24278(Catalyst 2960-S交换机)

何时,交换机上的CPU利用率仍然很高(50%到60%)   telnet或控制台会话不访问该开关。   当您telnet或控制台进入交换机时,CPU利用率会变为   下。

没有解决方法。

升级到12.2.58-SE1或更高版本以解决此问题。


5
2018-05-10 12:58



CPU利用率 pastebined(1)和(2)并在我的问题中更新了历史记录。 2960只是第2层。 4507做了一些光路由。 - ewwhite
@ewwhite TCAM util? - pauska
看我的问题。 “tcam利用率为2960. 4507上没有。“ - ewwhite
这让我朝着正确的方向前进。此时,我们意识到添加一些新设备可能会使交换机超过阈值。同 已经很高的CPU利用率,丢包是有道理的。 - ewwhite
@ewwhite很高兴听到。由于您正在运行的发行版中存在活动错误,因此还应升级IOS。 - pauska