Проблема с шейпами когда iope сессий больше 3000

Shaper related questions
Post Reply
dimka88
Posts: 872
Joined: 13 Oct 2014, 05:51
Contact:
Contact dimka88

Re: Проблема с шейпами когда iope сессий больше 3000

Post by dimka88 »

Поднимите как нибудь до 4096 на обоих интерфейсах, тут нужно быть осторожным, сетевки down/up могут сделать, так что учитывайте это.
Вопрос прежний тюнинг ядра хоть какой то делали (в sysctl)?
Ждем тогда остальные данные.
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

К вопросу о HT

Code: Select all

Server1:~# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                8
On-line CPU(s) list:   0-7
Thread(s) per core:    1
Core(s) per socket:    4
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 26
Model name:            Intel(R) Xeon(R) CPU           E5530  @ 2.40GHz
Stepping:              5
CPU MHz:               2394.162
BogoMIPS:              4787.79
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              8192K
NUMA node0 CPU(s):     0-3
NUMA node1 CPU(s):     4-7
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

dimka88 wrote: ↑27 Nov 2017, 13:57 Вопрос прежний тюнинг ядра хоть какой то делали (в sysctl)?
Да тюнинг выполнялся. Сейчас сложно сказать, что именно выкручено.
Как предоставить достоверную информацию?
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

Sysctl на сервере 1:

Code: Select all

Server1:# sysctl -p
net.ipv4.neigh.default.gc_interval = 30
net.ipv4.route.gc_timeout = 600
sysctl: cannot stat /proc/sys/net/netfilter/nf_conntrack_events_retry_timeout: No such file or directory
sysctl: net.ipv4.neigh.default.gc_stale_time = 60
kernel.msgmax = 65536
kernel.msgmnb = 65536
kernel.sysrq = 0
net.nf_conntrack_max = 768432
net.netfilter.nf_conntrack_max = 768432
net.netfilter.nf_conntrack_generic_timeout = 300
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 60
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 45
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 60
net.netfilter.nf_conntrack_icmp_timeout = 30
cannot stat /proc/sys/net/ipv6/conf/all/disable_ipv6: No such file or directory
sysctl: net.netfilter.nf_conntrack_checksum = 0
net.core.dev_weight = 16
net.core.netdev_budget = 256
net.core.netdev_max_backlog = 1000
cannot stat /proc/sys/net/ipv6/conf/default/disable_ipv6: No such file or directory
sysctl: cannot stat /proc/sys/net/ipv6/conf/lo/disable_ipv6: No such file or directory
net.core.netdev_tstamp_prequeue = 0
net.core.somaxconn = 65535
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_probes = 7
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_rmem = 10000000 10000000 10000000
net.ipv4.tcp_wmem = 10000000 10000000 10000000
net.ipv4.tcp_mem = 10000000 10000000 10000000
net.core.rmem_max = 524287
net.core.wmem_max = 524287
net.core.rmem_default = 524287
net.core.wmem_default = 524287
net.core.optmem_max = 524287
fs.file-max = 1000000
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

dimka88 wrote: ↑27 Nov 2017, 13:57 Поднимите как нибудь до 4096 на обоих интерфейсах, тут нужно быть осторожным, сетевки down/up могут сделать, так что учитывайте это.
На втором аналогичном "проблемном" сервере Server2 этот параметр установлен в максимум - не в этом параметре проблема. Сервера ведут себя одинаково.

Code: Select all

Server2:~# ethtool -g eth0
Ring parameters for eth0:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096

Server2:~# ethtool -g eth1
Ring parameters for eth1:
Pre-set maximums:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Current hardware settings:
RX:             4096
RX Mini:        0
RX Jumbo:       0
TX:             4096
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

ЧНН perf top

Code: Select all

Samples: 71K of event 'cycles:pp', Event count (approx.): 35747971335
Overhead  Shared Object       Symbol
   5.33%  [kernel]            [k] fib_table_lookup
   3.82%  [kernel]            [k] ipt_do_table
   3.46%  [kernel]            [k] _raw_spin_lock
   3.33%  [kernel]            [k] hash_ip4_test
   3.05%  [kernel]            [k] ixgbe_clean_rx_irq
   2.53%  [kernel]            [k] __nf_conntrack_find_get
   2.52%  [kernel]            [k] ixgbe_xmit_frame_ring
   2.24%  [kernel]            [k] ixgbe_poll
   2.15%  [kernel]            [k] ip_set_test
   1.97%  [kernel]            [k] __netif_receive_skb_core
   1.82%  libc-2.19.so        [.] _IO_vfscanf
   1.82%  [kernel]            [k] consume_skb
   1.61%  [kernel]            [k] hash_ip4_kadt
   1.58%  [kernel]            [k] sfq_enqueue
   1.57%  [kernel]            [k] __dev_queue_xmit
   1.57%  [kernel]            [k] set_match_v3
   1.51%  [kernel]            [k] htb_dequeue
   1.44%  [kernel]            [k] htb_enqueue
   1.18%  [kernel]            [k] tcp_packet
   1.17%  [kernel]            [k] put_page
   1.12%  [kernel]            [k] __skb_clone
   1.09%  [kernel]            [k] skb_release_head_state
   1.06%  [kernel]            [k] dev_get_by_index_rcu
   1.04%  [kernel]            [k] __build_skb
   1.04%  [kernel]            [k] nf_iterate
   0.99%  [kernel]            [k] ip_finish_output2
   0.95%  [kernel]            [k] ipoe_stats64
   0.92%  [kernel]            [k] __skb_flow_dissect
   0.91%  [kernel]            [k] ip_rcv
   0.89%  [kernel]            [k] sfq_dequeue
   0.85%  [kernel]            [k] skb_release_data
   0.84%  [kernel]            [k] kmem_cache_alloc
   0.83%  [kernel]            [k] ip_route_input_noref
   0.77%  [kernel]            [k] dev_hard_start_xmit
   0.75%  [kernel]            [k] nf_conntrack_in
   0.73%  [kernel]            [k] netif_skb_features
   0.69%  [kernel]            [k] tcp_mt
   0.68%  [kernel]            [k] vlan_do_receive
   0.67%  bird                [.] 0x0000000000011273
   0.67%  [kernel]            [k] ipoe_xmit
   0.62%  [kernel]            [k] skb_get_hash_perturb
   0.60%  [kernel]            [k] __local_bh_enable_ip
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

ЧНН top

Code: Select all

top - 21:22:19 up 26 days,  8:48,  2 users,  load average: 1.43, 1.47, 1.36
Tasks: 175 total,   4 running, 171 sleeping,   0 stopped,   0 zombie
%Cpu(s):  3.3 us,  2.3 sy,  0.0 ni, 47.9 id,  0.0 wa,  0.0 hi, 46.4 si,  0.0 st
KiB Mem:   8167972 total,  3363056 used,  4804916 free,   152784 buffers
KiB Swap:  2594812 total,        0 used,  2594812 free.  1117496 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
  902 bird      20   0  294276 289120   2064 R  41.5  3.5  10610:51 bird
  867 zabbix    20   0   70676   3556   2696 S  17.3  0.0   2480:23 zabbix_agentd
  868 zabbix    20   0   70676   3544   2696 S  17.3  0.0   2480:04 zabbix_agentd
  869 zabbix    20   0   70676   3544   2696 S  16.9  0.0   2478:04 zabbix_agentd
   40 root      20   0       0      0      0 S  15.9  0.0 475:42.89 ksoftirqd/6
   45 root      20   0       0      0      0 S  12.9  0.0 472:42.27 ksoftirqd/7
   35 root      20   0       0      0      0 S  11.6  0.0 482:56.72 ksoftirqd/5
   29 root      20   0       0      0      0 R  11.3  0.0 723:51.66 ksoftirqd/4
 4345 root      20   0  403920  79084   4276 S   5.6  1.0 901:32.54 accel-pppd
 6766 root      20   0   17796   5032   2752 S   1.0  0.1 149:05.66 htop
   19 root      20   0       0      0      0 R   0.7  0.0 536:34.58 ksoftirqd/2
    3 root      20   0       0      0      0 S   0.3  0.0 687:11.95 ksoftirqd/0
   13 root      rt   0       0      0      0 S   0.3  0.0   1:51.19 migration/1
   14 root      20   0       0      0      0 S   0.3  0.0 596:28.14 ksoftirqd/1
   24 root      20   0       0      0      0 S   0.3  0.0  50:47.74 ksoftirqd/3
    1 root      20   0   41964  17056   3100 S   0.0  0.2   0:34.85 systemd
    2 root      20   0       0      0      0 S   0.0  0.0   0:00.25 kthreadd
    5 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H
    8 root      20   0       0      0      0 S   0.0  0.0  86:09.04 rcu_sched
    9 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rcu_bh
   10 root      rt   0       0      0      0 S   0.0  0.0   2:28.41 migration/0
   11 root      rt   0       0      0      0 S   0.0  0.0   0:07.02 watchdog/0
   12 root      rt   0       0      0      0 S   0.0  0.0   0:05.36 watchdog/1
   16 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/1:0H
   17 root      rt   0       0      0      0 S   0.0  0.0   0:05.08 watchdog/2
   18 root      rt   0       0      0      0 S   0.0  0.0   1:40.53 migration/2
   21 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/2:0H
   22 root      rt   0       0      0      0 S   0.0  0.0   0:04.89 watchdog/3
   23 root      rt   0       0      0      0 S   0.0  0.0   1:57.45 migration/3
   26 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/3:0H
   27 root      rt   0       0      0      0 S   0.0  0.0   0:05.02 watchdog/4
   28 root      rt   0       0      0      0 S   0.0  0.0   3:29.42 migration/4
   31 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/4:0H
   33 root      rt   0       0      0      0 S   0.0  0.0   0:04.30 watchdog/5
   34 root      rt   0       0      0      0 S   0.0  0.0   1:23.96 migration/5
   37 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/5:0H
   38 root      rt   0       0      0      0 S   0.0  0.0   0:04.12 watchdog/6
Top
dimka88
Posts: 872
Joined: 13 Oct 2014, 05:51
Contact:
Contact dimka88

Re: Проблема с шейпами когда iope сессий больше 3000

Post by dimka88 »

Ядра одинаковые на серверах, не 3.6.x-3.14.x случайно, где выпилили из ядра Routing cache?
Нагрузка от берда однозначно не нравится.
Без шейпера и ната так же заметна деградация upload у клиента?
Ну и вопрос для статистики, что за дистрибутив?
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

accel-cmd 1.11.0
bird - нагрузка постоянно скачет вне зависимости от сетевой нагрузки ( 2-3% до 70-80%).

Ядра одинаковые

Code: Select all

uname -a
Linux Server1 4.3.0-0.bpo.1-amd64 #1 SMP Debian 4.3.5-1~bpo8+1 (2016-02-23) x86_64 GNU/Linux
Top
doca
Posts: 12
Joined: 26 Nov 2017, 20:23

Re: Проблема с шейпами когда iope сессий больше 3000

Post by doca »

dimka88 wrote: ↑27 Nov 2017, 20:50 Без шейпера и ната так же заметна деградация upload у клиента?
Подскажите, как правильно отключить шейпер и потом включить его на рабочем сервере.
Top
Post Reply

Return to “Shaper”