赵占旭的博客

OpenvSwitch Qos

本文主要是对Linux的QoS限速和OVS QoS限速使用的一些理解(不包含TC各个算法具体实现),如有错误,望能批评指正。

常用流控算法的理解


classless qdisc

  • [p or b]fifo,最简单的qdisc,纯粹的先进先出,只有一个参数limit设置队列长度,pfifo以报文个数为单位,bfifo以字节为单位。
  • pfifo_fast,系统标准的qdisc,他的队列分为三个band,band0最高,优先处理,band0有数据就不会处理band1,根据报文的TOS分配到三个band。
  • red,当带宽接近于规定的带宽时,系统会随机丢弃一些报文,非常适合高带宽应用。
  • sfq,按照session为流量进行排序,然后循环发送每个session的报文。
  • tbf,适用于把流速降低到某个值。
  • ingress,用于入流量。

classful qdisc

  • cbq,既有限制宽带的能力,也有带宽优先级管理的功能。根据报文离队频率和链路层的带宽计算空闲时间,通过调整空闲时间限制带宽。
  • htb,保证每个类型的带宽,但是也允许特定的类可以突破带宽上限,占用别的类的带宽。
  • prio,不能限制带宽,只能对流量优先级管理。
  • hfsc,为leaf class保证精确的带宽和分配延时,以及剩下带宽的公平,和htb不同的是,他通过丢包,让低延时的会话受益。

我们今天主要针对classless的ingress和classful的htb,前者是入口的流向限制,后者是出口的流量限制。

TC命令


TC命令入口的限速

命令思路

  • 首先删除网卡配置的ingress QDisc。
  • 为网卡创建一个基于ingress的QDisc。
  • 为该QDisc建立一个基于ip或者其他的过滤器filter,限制速度为多少。

实际命令

1
2
3
tc qdisc del dev <devname> handle ffff: ingress 2>/dev/null
tc qdisc add dev <devname> handle ffff: ingress
tc filter add dev <devname> parent ffff: protocol ip prio <priority> u32 match ip src <ipaddr> police rate <kbits_rate>kbit burst <kbits_burst>k mtu 65535 drop

TC命令的出口限速

方式1

命令思路

该方式的思路和格式类似上面入口的配置,这里不推荐这种方式,经过验证准确性并不好。没有体现出classful的优势。

  • 首先删除网卡配置的HTB QDisc。
  • 为网卡创建一个基于HTB的QDisc。
  • 为该QDisc建立一个基于ip或者其他的过滤器filter,限制速度为多少。

实际命令

1
2
3
tc qdisc del dev <devname> root 2>/dev/null
tc qdisc add dev <devname> root handle 1: htb
tc filter add dev <devname> parent 1: protocol ip prio <priority> u32 match ip src <ipaddr> police rate <kbits_rate>kbit burst <kbits_burst>k mtu 65535 drop

方式2

命令思路

  • 首先删除网卡配置的HTB QDisc。
  • 为网卡创建一个基于HTB的QDisc。
  • 为该QDisc建立一个子类的队列,并未该队列配置限速。
  • 建一个过滤器filter,将符合的报文送入上面配置的队列。

实际命令

1
2
3
4
tc qdisc del dev <devname> root 2>/dev/null
tc qdisc add dev <devname> root handle 1: htb
tc class add dev <devname> parent 1: classid 1:queue_id htb rate <kbits_rate>kbit ceil <kbits_rate>kbit burst <kbits_burst>k
tc filter add dev <devname> protocol ip parent 1: prio <priority> u32 match ip src <ipaddr> flowid 1:queue_id

方式3

命令思路

  • 首先删除网卡配置的HTB QDisc。
  • 为网卡创建一个基于HTB的QDisc。
  • 为该QDisc建立一个子类的队列,并未该队列配置限速。
  • 建一个过滤器filter,将iptables指定的报文导入上面队列中。

实际命令

1
2
3
4
tc qdisc del dev <devname> root 2>/dev/null
tc qdisc add dev <devname> root handle 1: htb
tc class add dev <devname> parent 1: classid 1:queue_id htb rate <kbits_rate>kbit ceil <kbits_rate>kbit burst <kbits_burst>k
tc filter add dev <devname> protocol all parent 1: prio <priority> handle 1 fw classid 1:queue_id

iptables配合的命令如下

1
iptables -t mangle -A POSTROUTING -d <ipaddr> -j MARK --set-mark queue_id

方式4

命令思路

  • 首先删除网卡配置的HTB QDisc。
  • 为网卡创建一个基于HTB的QDisc。
  • 为该QDisc建立一个子类的队列,并未该队列配置限速。
  • 建一个过滤器filter,将router指定的报文导入上面队列中。

实际命令

1
2
3
4
tc qdisc del dev <devname> root 2>/dev/null
tc qdisc add dev <devname> root handle 1: htb
tc class add dev <devname> parent 1: classid 1:queue_id htb rate <kbits_rate>kbit ceil <kbits_rate>kbit burst <kbits_burst>k
tc filter add dev <devname> protocol all parent 1: prio <priority> route to queue_id classid 1:queue_id

router配合的命令如下

1
ip route add <ipaddr> dev eth0 via <device_ip> realm queue_id

OVS的QOS


OVS配置命令

1
2
3
4
5
6
7
ovs-vsctl set interface <devname> ingress_policing_rate=<kbits_rate> ingress_policing_burst=<kbits_burst>
//配置ingress,这个地方只是限制整个端口的,目前不能细分,跟实现有关。他的filter是all。

ovs-vsctl set port <devname> qos=@qosname -- --id=@qosname create qos type=linux-htb queues=queue_id=@queue_name -- --id=@queue_name create queue other-config:max-rate=<bytes_rate>
//配置出口HTB类型的一个队列,需要ovs-ofctl配置将需要的报文导入该队列
ovs-ofctl add-flow brname in_port=portno,actions=set_queue:queue_id,normal
//最简单的倒流量的方式,可以在流表添加过滤条件。

OVS运行时对TC的配置

OVS启动的时候会调用如下代码对QoS进行配置。

1
2
ovs-vswitchd.c
main-->bridge_run-->bridge_reconfigure-->iface_configure_qos

iface_configure_qos

  • netdev_set_qos为接口创建qdisc。
  • 根据队列的queue数量,分别调用netdev_set_queue为队列创建class。
  • ofproto_port_set_queuesofproto_port设置queue的数据结构,为了和上面的class对应。
  • netdev_set_policing

netdev_set_qos-->netdev_linux_set_qos

  • tc_lookup_ovs_name根据OVS的qos算法找到对应的ops,之前各种类型的ovs的qos算法都已经注册,比较好找,轮询即可。
  • 如果是tc_ops_noop,直接调用对应的tc_install,即noop_tc_install,然后返回。
  • tc_query_qdisc主要创建qdisc,类似命令行tc qdisc add dev <dev> root handle 1: kind,如果已经创建直接返回。
  • 最早查询的ops和在Linux Kernel创建的ops比较是不是同一种,是的话调用ops->qdisc_set,即htb_qdisc_set,创建class,类似命令行tc class add dev dev_name parent 1: classid 1:fffe htb rate <min_rate>bps ceil <max_rate>bps burst 0
  • 如果不是同一种则调用tc_del_qdisc删除存在的qdisc,调用ops->tc_install,即htb_tc_install,创建qdisc和class。

htb_tc_install

  • htb_setup_qdisc__相对于命令行tc qdisc add dev <dev> root handle 1: htb default 1
  • htb_setup_class__相当于命令行tc class replace dev <dev> classid 1:fffe parent 1: htb rate <min_rate>bps ceil <max_rate>bps burst <burst>b prio <priority>

netdev_set_queue-->netdev_linux_set_queue

  • tc_query_qdisc主要创建qdisc,类似命令行tc qdisc add dev <dev> root handle 1: kind,如果已经创建直接返回。
  • 调用ops->class_set,即htb_class_set,类似命令行tc class replace dev <dev> classid 1:queue_id+1 parent 1:fffe htb rate <min_rate>bps ceil <max_rate>bps burst <burst>b prio <priority>

ofproto_port_set_queues不是特别了解这个操作的意义,可能是修改tos/dscp的

  • 将上面netdev_set_queue配置的queue的数据ofproto_port_queue设置到ofport中。

netdev_set_policing-->netdev_linux_set_policing

  • tc_add_del_ingress_qdisc首先删除ingress的qdisc,类似命令行tc qdisc del dev <devname> handle ffff: ingress
  • tc_add_del_ingress_qdisc接着创建ingress的qdisc,类似命令行tc qdisc add dev <devname> handle ffff: ingress
  • tc_add_policer配置限速速率,类似命令行tc filter add dev <devname> parent ffff: protocol all prio 49 basic police rate <kbits_rate>kbit burst <kbits_burst>k mtu 65535 drop

以上就是OVS配置QOS的流程,出口的时候使用HTB。

目前得出的结论就是OVSingress就是和上面TC命令介绍的方式一致,出口策略没有采用TC的filter命令,而是根据queue_id创建相应的class,而流表会使用set_queue的action设置queue。而ovs-ofctl中的set_queue action是设置的skb的priority,而在htb的htb_classify会根据skb->priority找到对应的class。

限速的实现点有以下几个

  • ingress限速:__netif_receive_skb-->__netif_receive_skb_core-->handle_ing(常用,配置了CONFIG_NET_CLS_ACT)。
  • egress限速:dev_queue_xmit-->__dev_xmit_skb

vhost网口处的限速调用为

  • ingress限速:vhost_worker-->handle_tx_kick-->handle_tx(sock->ops->sendmsg)-->tun_sendmsg-->tun_get_user(内部的tun_alloc_skb?)-->netif_rx_ni(netif_rx没看到多占cpu)-->do_softirq-->call_softirq-->__do_softirq-->net_rx_action-->process_backlog-->__netif_receive_skb-->__netif_receive_skb_core-->handle_ing
  • egress限速:ovs_vport_send-->netdev_send-->dev_queue_xmit-->__dev_xmit_skb

注意:所有文章非特别说明皆为原创。为保证信息与源同步,转载时请务必注明文章出处!谢谢合作 :-)

原始链接:http://zhaozhanxu.com/2017/02/06/SDN/OVS/2017-02-06-qos/

许可协议: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。