最近开始调研网卡的OVS流表offload功能,所以目前查看一下OVS这块是怎么做的。
配置网卡支持offload
从上面可以看到OVS主要通过netlink发送给网口,接下来我们看一下网卡驱动做了一些什么,因为在做Mellanox家的网卡,所以这里查看代码就查看mlx5_core的驱动代码。
首先是开启offload,Mellanox有两种方案开启offload,设置方法不一样,但是实质是一致的,就是把eswitch_mode配置为switchdev,分别看一下:
第一种配置方法为devlink dev eswitch set pci/${PCI_ADDR} mode switchdev
,这是中间一些版本的配置,它对应的代码路径如下:
eswitch_mode_set-->mlx5_devlink_eswitch_mode_set-->esw_offloads_start-->mlx5_eswitch_enable_sriov
,我查看的代码没有看到地方调用。
第二种配置方法为echo switchdev > /sys/kernel/debug/mlx5/${PCI_ADDR}/compat/mode
,这是后面普遍的一种配置方法,它对应的代码路径如下:
esw_compat_fops-->write-->esw_compat_write-->write_u16-->mlx5_devlink_eswitch_mode_set-->esw_offloads_start-->mlx5_eswitch_enable_sriov
mlx5_remove_dev_by_protocol
首先从MLX5_INTERFACE_PROTOCOL_IB协议中移除设备mlx5_add_dev_by_protocol
将设备添加到协议MLX5_INTERFACE_PROTOCOL_IB中esw_offloads_init
初始化offload相关的一些表和repsentor端口esw_create_offloads_fdb_tables
创建FDB表esw_create_offloads_table
创建转发表esw_create_vport_rx_group
创建接收组esw_offloads_load_reps
加载repsentor端口
esw_create_tsar
vport的QoS管理esw_enable_vport
使能vport
配置OVS支持offload
配置OVS的流表offload功能的命令如下:
ovs-vsctl set Open_vSwitch . Other_config:hw-offload=true
utilities/ovs-vsctl.c
实现我们不看了。我们主要看一下vswitchd是做了什么操作。
vswitchd/ovs-vswitchd.c
main-->bridge_run-->netdev_set_flow_api_enabled-->netdev_tc_init_flow_api
主要是设置去创建或者删除一条TC规则,如果是添加则类似/sbin/tc qdisc add dev <devname> handle ffff: ingress
,如果是删除则类似/sbin/tc qdisc del dev <devname> handle ffff: ingress
。
OVS offload流表下发
OVS相关部分
当报文不匹配的时候,会将报文上报,会调用udpif_upcall_handler
udpif_upcall_handler-->recv_upcalls-->handle_upcalls-->dpif_operate-->dpif_netlink_operate-->try_send_to_netdev-->parse_flow_put-->netdev_flow_put-->netdev_tc_flow_put
- 首先判定是不是tunnel,是的话需要存储五元组
- 是vlan的话,记录vid和mask
- 记录源目的MAC和掩码
- 记录五元组及其掩码
- 检测以上记录的信息是否有不支持的,还是有挺多不支持的,具体查看函数
test_key_and_mask
- 记录action,目前支持的是output,push_vlan,pop_vlan,set,set_mask
- 调用
tc_replace_flower
将以上记录的信息进行转换,然后通过netlink发送给端口。
网卡驱动相关
前面ovs调用tc_replace_flower
时候会触发kernel调用函数tc_ctl_tfilter
,路径如下:
tc_ctl_tfilter-->fl_change-->fl_hw_replace_filter-->mlx5e_rep_ndo_setup_tc-->mlx5e_configure_flower-->mlx5e_tc_add_fdb_flow-->mlx5_eswitch_add_offloaded_rule
mlx5e_configure_flower
parse_cls_flower
解析ovs传递过来的流表中match的key信息parse_tc_fdb_actions
解析ovs传递过来的流表中action信息mlx5e_tc_add_fdb_flow
主要是讲match和action添加到fdb流表- 后面先不看了,multipath的那些操作
mlx5e_tc_add_fdb_flow
- 如果action包含encap,那么调用
mlx5e_attach_encap
生成vxlan所需要的报文头信息 mlx5_eswitch_add_vlan_action
添加vlan的actionmlx5_eswitch_add_offloaded_rule
添加offloaded规则
mlx5_eswitch_add_offloaded_rule-->mlx5_add_flow_rules-->_mlx5_add_flow_rules
主要是向firmware发送指令添加offload规则。
这块关联比较多,不太好看,以后遇到问题再去查看。
dump flows
一般是两种命令可以展示datapath的流表,他们的区别主要是能不能dump别的datapath,主要实现都是一致的,所以我们只看一个相关的代码,因为个人认为ovs-appctl命令更好一些,所以就看这个的代码。
ovs-dpctl dump-flows [type=offloaded/ovs]
ovs-appctl dpctl/dump-flows [type=offloaded/ovs]
命令相关的代码就不看了,因为ovs-appctl调用的命令都需要在ovs-vswitchd中通过函数unixctl_command_register
进行注册。我们这里直接查看注册的dpctl相关的命令。
代码路径如下,文件起始于ovs-vswitchd.c
main-->bridge_run-->bridge_reconfigure-->bridge_add_ports-->bridge_add_ports__-->iface_create-->iface_do_create-->netdev_open-->construct-->dpif_create_and_open-->dpif_open-->do_open-->dp_initialize-->dpctl_unixctl_register-->dpctl_unixctl_handler-->dpctl_dump_flows
dpctl_dump_flows
- 首先做参数检测,保证参数合理性
dpif_flow_dump_create-->dpif_netlink_flow_dump_create
主要有两个事情,一个就是nl_dump_start
,原来的dump ovs的流表,另一个就是dump offloaded流表,用的函数start_netdev_dump
- 遍历所有满足类型条件的流表,并且根据filter进行过滤。
1 条评论
前辈的文章写的都很棒