Page 2 of 3
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 13:57
by dimka88
Поднимите как нибудь до 4096 на обоих интерфейсах, тут нужно быть осторожным, сетевки down/up могут сделать, так что учитывайте это.
Вопрос прежний тюнинг ядра хоть какой то делали (в sysctl)?
Ждем тогда остальные данные.
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 14:02
by doca
К вопросу о HT
Code: Select all
Server1:~# lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 8
On-line CPU(s) list: 0-7
Thread(s) per core: 1
Core(s) per socket: 4
Socket(s): 2
NUMA node(s): 2
Vendor ID: GenuineIntel
CPU family: 6
Model: 26
Model name: Intel(R) Xeon(R) CPU E5530 @ 2.40GHz
Stepping: 5
CPU MHz: 2394.162
BogoMIPS: 4787.79
Virtualization: VT-x
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 8192K
NUMA node0 CPU(s): 0-3
NUMA node1 CPU(s): 4-7
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 14:03
by doca
dimka88 wrote: ↑27 Nov 2017, 13:57
Вопрос прежний тюнинг ядра хоть какой то делали (в sysctl)?
Да тюнинг выполнялся. Сейчас сложно сказать, что именно выкручено.
Как предоставить достоверную информацию?
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 15:58
by doca
Sysctl на сервере 1:
Code: Select all
Server1:# sysctl -p
net.ipv4.neigh.default.gc_interval = 30
net.ipv4.route.gc_timeout = 600
sysctl: cannot stat /proc/sys/net/netfilter/nf_conntrack_events_retry_timeout: No such file or directory
sysctl: net.ipv4.neigh.default.gc_stale_time = 60
kernel.msgmax = 65536
kernel.msgmnb = 65536
kernel.sysrq = 0
net.nf_conntrack_max = 768432
net.netfilter.nf_conntrack_max = 768432
net.netfilter.nf_conntrack_generic_timeout = 300
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 60
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 45
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 60
net.netfilter.nf_conntrack_icmp_timeout = 30
cannot stat /proc/sys/net/ipv6/conf/all/disable_ipv6: No such file or directory
sysctl: net.netfilter.nf_conntrack_checksum = 0
net.core.dev_weight = 16
net.core.netdev_budget = 256
net.core.netdev_max_backlog = 1000
cannot stat /proc/sys/net/ipv6/conf/default/disable_ipv6: No such file or directory
sysctl: cannot stat /proc/sys/net/ipv6/conf/lo/disable_ipv6: No such file or directory
net.core.netdev_tstamp_prequeue = 0
net.core.somaxconn = 65535
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_probes = 7
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_rmem = 10000000 10000000 10000000
net.ipv4.tcp_wmem = 10000000 10000000 10000000
net.ipv4.tcp_mem = 10000000 10000000 10000000
net.core.rmem_max = 524287
net.core.wmem_max = 524287
net.core.rmem_default = 524287
net.core.wmem_default = 524287
net.core.optmem_max = 524287
fs.file-max = 1000000
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 16:05
by doca
dimka88 wrote: ↑27 Nov 2017, 13:57
Поднимите как нибудь до 4096 на обоих интерфейсах, тут нужно быть осторожным, сетевки down/up могут сделать, так что учитывайте это.
На втором аналогичном "проблемном" сервере Server2 этот параметр установлен в максимум - не в этом параметре проблема. Сервера ведут себя одинаково.
Code: Select all
Server2:~# ethtool -g eth0
Ring parameters for eth0:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Server2:~# ethtool -g eth1
Ring parameters for eth1:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 19:20
by doca
ЧНН perf top
Code: Select all
Samples: 71K of event 'cycles:pp', Event count (approx.): 35747971335
Overhead Shared Object Symbol
5.33% [kernel] [k] fib_table_lookup
3.82% [kernel] [k] ipt_do_table
3.46% [kernel] [k] _raw_spin_lock
3.33% [kernel] [k] hash_ip4_test
3.05% [kernel] [k] ixgbe_clean_rx_irq
2.53% [kernel] [k] __nf_conntrack_find_get
2.52% [kernel] [k] ixgbe_xmit_frame_ring
2.24% [kernel] [k] ixgbe_poll
2.15% [kernel] [k] ip_set_test
1.97% [kernel] [k] __netif_receive_skb_core
1.82% libc-2.19.so [.] _IO_vfscanf
1.82% [kernel] [k] consume_skb
1.61% [kernel] [k] hash_ip4_kadt
1.58% [kernel] [k] sfq_enqueue
1.57% [kernel] [k] __dev_queue_xmit
1.57% [kernel] [k] set_match_v3
1.51% [kernel] [k] htb_dequeue
1.44% [kernel] [k] htb_enqueue
1.18% [kernel] [k] tcp_packet
1.17% [kernel] [k] put_page
1.12% [kernel] [k] __skb_clone
1.09% [kernel] [k] skb_release_head_state
1.06% [kernel] [k] dev_get_by_index_rcu
1.04% [kernel] [k] __build_skb
1.04% [kernel] [k] nf_iterate
0.99% [kernel] [k] ip_finish_output2
0.95% [kernel] [k] ipoe_stats64
0.92% [kernel] [k] __skb_flow_dissect
0.91% [kernel] [k] ip_rcv
0.89% [kernel] [k] sfq_dequeue
0.85% [kernel] [k] skb_release_data
0.84% [kernel] [k] kmem_cache_alloc
0.83% [kernel] [k] ip_route_input_noref
0.77% [kernel] [k] dev_hard_start_xmit
0.75% [kernel] [k] nf_conntrack_in
0.73% [kernel] [k] netif_skb_features
0.69% [kernel] [k] tcp_mt
0.68% [kernel] [k] vlan_do_receive
0.67% bird [.] 0x0000000000011273
0.67% [kernel] [k] ipoe_xmit
0.62% [kernel] [k] skb_get_hash_perturb
0.60% [kernel] [k] __local_bh_enable_ip
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 19:23
by doca
ЧНН top
Code: Select all
top - 21:22:19 up 26 days, 8:48, 2 users, load average: 1.43, 1.47, 1.36
Tasks: 175 total, 4 running, 171 sleeping, 0 stopped, 0 zombie
%Cpu(s): 3.3 us, 2.3 sy, 0.0 ni, 47.9 id, 0.0 wa, 0.0 hi, 46.4 si, 0.0 st
KiB Mem: 8167972 total, 3363056 used, 4804916 free, 152784 buffers
KiB Swap: 2594812 total, 0 used, 2594812 free. 1117496 cached Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
902 bird 20 0 294276 289120 2064 R 41.5 3.5 10610:51 bird
867 zabbix 20 0 70676 3556 2696 S 17.3 0.0 2480:23 zabbix_agentd
868 zabbix 20 0 70676 3544 2696 S 17.3 0.0 2480:04 zabbix_agentd
869 zabbix 20 0 70676 3544 2696 S 16.9 0.0 2478:04 zabbix_agentd
40 root 20 0 0 0 0 S 15.9 0.0 475:42.89 ksoftirqd/6
45 root 20 0 0 0 0 S 12.9 0.0 472:42.27 ksoftirqd/7
35 root 20 0 0 0 0 S 11.6 0.0 482:56.72 ksoftirqd/5
29 root 20 0 0 0 0 R 11.3 0.0 723:51.66 ksoftirqd/4
4345 root 20 0 403920 79084 4276 S 5.6 1.0 901:32.54 accel-pppd
6766 root 20 0 17796 5032 2752 S 1.0 0.1 149:05.66 htop
19 root 20 0 0 0 0 R 0.7 0.0 536:34.58 ksoftirqd/2
3 root 20 0 0 0 0 S 0.3 0.0 687:11.95 ksoftirqd/0
13 root rt 0 0 0 0 S 0.3 0.0 1:51.19 migration/1
14 root 20 0 0 0 0 S 0.3 0.0 596:28.14 ksoftirqd/1
24 root 20 0 0 0 0 S 0.3 0.0 50:47.74 ksoftirqd/3
1 root 20 0 41964 17056 3100 S 0.0 0.2 0:34.85 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:00.25 kthreadd
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
8 root 20 0 0 0 0 S 0.0 0.0 86:09.04 rcu_sched
9 root 20 0 0 0 0 S 0.0 0.0 0:00.00 rcu_bh
10 root rt 0 0 0 0 S 0.0 0.0 2:28.41 migration/0
11 root rt 0 0 0 0 S 0.0 0.0 0:07.02 watchdog/0
12 root rt 0 0 0 0 S 0.0 0.0 0:05.36 watchdog/1
16 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/1:0H
17 root rt 0 0 0 0 S 0.0 0.0 0:05.08 watchdog/2
18 root rt 0 0 0 0 S 0.0 0.0 1:40.53 migration/2
21 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/2:0H
22 root rt 0 0 0 0 S 0.0 0.0 0:04.89 watchdog/3
23 root rt 0 0 0 0 S 0.0 0.0 1:57.45 migration/3
26 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/3:0H
27 root rt 0 0 0 0 S 0.0 0.0 0:05.02 watchdog/4
28 root rt 0 0 0 0 S 0.0 0.0 3:29.42 migration/4
31 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/4:0H
33 root rt 0 0 0 0 S 0.0 0.0 0:04.30 watchdog/5
34 root rt 0 0 0 0 S 0.0 0.0 1:23.96 migration/5
37 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/5:0H
38 root rt 0 0 0 0 S 0.0 0.0 0:04.12 watchdog/6
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 20:50
by dimka88
Ядра одинаковые на серверах, не 3.6.x-3.14.x случайно, где выпилили из ядра Routing cache?
Нагрузка от берда однозначно не нравится.
Без шейпера и ната так же заметна деградация upload у клиента?
Ну и вопрос для статистики, что за дистрибутив?
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 27 Nov 2017, 21:20
by doca
accel-cmd 1.11.0
bird - нагрузка постоянно скачет вне зависимости от сетевой нагрузки ( 2-3% до 70-80%).
Ядра одинаковые
Code: Select all
uname -a
Linux Server1 4.3.0-0.bpo.1-amd64 #1 SMP Debian 4.3.5-1~bpo8+1 (2016-02-23) x86_64 GNU/Linux
Re: Проблема с шейпами когда iope сессий больше 3000
Posted: 28 Nov 2017, 09:01
by doca
dimka88 wrote: ↑27 Nov 2017, 20:50
Без шейпера и ната так же заметна деградация upload у клиента?
Подскажите, как правильно отключить шейпер и потом включить его на рабочем сервере.