本文介绍如何在普通云服务器和弹性裸金属服务器中使用VFIO驱动替代UIO驱动,解决DPDK应用运行异常的问题。
前提条件
已为实例设置HugePages。具体操作,请参见调整Linux实例大页内存的方法。
已为实例安装DPDK。关于DPDK的更多信息,请参见Data Plane Development Kit (DPDK*)。
背景信息
如果您在六代(g6、c6、r6等)及以后的实例规格(包含通用算力型实例)上部署DPDK应用,运行DPDK应用时可能发生异常。例如,使用pktgen-dpdk工具进行网络发包测试时可能检测不到网卡绑定的igb_uio端口,出现以下报错时,您可以使用VFIO驱动替代UIO驱动解决此类问题。
EAL: eal_parse_sysfs_value(): cannot open sysfs value /sys/bus/pci/devices/0000:00:06.0/uio/uio0/portio/port0/start操作步骤
远程连接普通云服务器和弹性裸金属服务器。
具体操作,请参见使用Workbench登录Linux实例。
检查GRUB配置。
cat /proc/cmdline如果GRUB配置中包括
intel_iommu=on,且没有iommu=pt,请执行步骤4。如果是其他情况,需要添加
intel_iommu=on并删除iommu=pt,请执行步骤3。GRUB配置中没有
intel_iommu=on,也没有iommu=pt,需要添加intel_iommu=on。[test@iZ2ze9h6rn63 ~]$ cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-4.19.91-27.4.al7.x86_64 root=UUID=90179e0e-4e13-4c59-a6cc-0ce5cxxx ro crashkernel=0M-2G:0M
在
/etc/default/grub配置文件中添加intel_iommu=on。打开配置文件。
sudo vim /etc/default/grub按
i切换到编辑模式,在GRUB_CMDLINE_LINUX中添加intel_iommu=on,然后保存配置文件。修改完成后的示例如下所示。
GRUB_TIMEOUT=1 GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)" GRUB_DEFAULT=saved GRUB_DISABLE_SUBMENU=true GRUB_TERMINAL_OUTPUT="console" GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet idle=halt biosdevname=0 net.ifnames=0 console=tty0 console=ttyS0,115200n8 noibrs intel_iommu=on" GRUB_DISABLE_RECOVERY="true"应用修改后的配置。
sudo grub2-mkconfig -o /boot/grub2/grub.cfg[test@iZ2ze9h6rn ~]$ sudo grub2-mkconfig -o /boot/grub2/grub.cfg Generating grub configuration file ... Found linux image: /boot/vmlinuz-4.19.91-27.4.al7.x86_64 Found initrd image: /boot/initramfs-4.19.91-27.4.al7.x86_64.img Found linux image: /boot/vmlinuz-0-rescue-2cea6e3dd20d4251bf6880159559f2c9 Found initrd image: /boot/initramfs-0-rescue-2cea6e3dd20d4251bf6880159559f2c9.img done执行以下命令,重启实例并再次远程连接实例。
reboot警告重启实例会造成您的实例停止工作,可能导致业务中断,建议您在非业务高峰期时执行该操作。
安装VFIO和VFIO-PCI驱动。
sudo modprobe vfio && \ sudo modprobe vfio-pci配置noiommu_mode。
sudo bash -c 'echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode'查看并记录网卡设备的bus-info值。
ethtool -i ethX请将ethX替换为对应网卡的编号,查看eth1网卡的示例如下所示。输出中
bus-info字段的值即为网卡的总线地址(本例为0000:00:06.0)。[root@izxxx ~]# ethtool -i eth1 driver: virtio_net version: 1.0.0 firmware-version: expansion-rom-version: bus-info: 0000:00:06.0 supports-statistics: no supports-test: no supports-eeprom-access: no supports-register-dump: no supports-priv-flags: no切换到DPDK安装目录的usertools目录下,然后执行以下命令绑定网卡到vfio-pci驱动。
sudo ./dpdk-devbind.py -b vfio-pci 0000:00:06.0说明0000:00:06.0为网卡的bus-info值,用于指定对应的网卡,请按实际情况替换。绑定后可以运行
./dpdk-devbind.py --status查看绑定状态,下方示例表示0000:00:06.0对应的网卡已绑定到vfio-pci驱动。[root@izxxxxxxxxxxxxx usertools]# ./dpdk-devbind.py --status Network devices using DPDK-compatible driver ============================================= 0000:00:06.0 'Virtio network device 1000' drv=vfio-pci unused=virtio pci Network devices using kernel driver ==================================== 0000:00:05.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=virtio_pci,vfio-pci *Active*切换到DPDK安装目录的
build/app目录下,然后根据DPDK版本执行命令运行DPDK应用程序。DPDK 18.02及更高版本
sudo ./testpmd -w 0000:00:06.0 -c 0x3 -- --total-num-mbufs=2048 -ai低于DPDK 18.02的版本
sudo ./testpmd -w 0000:00:06.0 -c 0x3 -- --total-num-mbufs=2048 --disable-hw-vlan -ai
说明-w 0000:00:06.0用于指定网卡,total-num-mbufs=2048对应设置的HugePages大小,请按实际情况替换。运行DPDK应用程序的示例如下所示。
[ @izxxxxxxxxxxxZ app]# ./testpmd -w 0000:00:06.0 -c 0x3 -- --total-num-mbufs=2048 -ai EAL: Detected 2 lcore(s) EAL: Detected 1 NUMA nodes EAL: Multi-process socket /var/run/dpdk/rte/mp_socket EAL: No free hugepages reported in hugepages-1048576kB EAL: Probing VFIO support... EAL: VFIO support initialized EAL: PCI device 0000:00:06.0 on NUMA socket -1 EAL: Invalid NUMA socket, default to 0 EAL: probe driver: 1af4:1000 net_virtio EAL: using IOMMU type 8 (No-IOMMU) Auto-start selected Interactive-mode selected testpmd: create a new mbuf pool <mbuf_pool_socket_0>: n=2048, size=2176, socket=0 testpmd: preferred mempool ops selected: ring_mp_mc Warning! port-topology=paired and odd forward ports number, the last port will pair with itself. Configuring Port 0 (socket 0) EAL: Error disabling MSI-X interrupts for fd 18 Port 0: 00:16:3E:35:CC:C4 Checking link statuses... Done Start automatic packet forwarding io packet forwarding - ports=1 - cores=1 - streams=1 - NUMA support enabled, MP allocation mode: native Logical Core 1 (socket 0) forwards packets on 1 streams: RX P=0/Q=0 (socket 0) -> TX P=0/Q=0 (socket 0) peer=02:00:00:00:00:00 io packet forwarding packets/burst=32 nb forwarding cores=1 - nb forwarding ports=1 port 0: RX queue number: 1 Tx queue number: 1 Rx offloads=0x0 Tx offloads=0x0 RX queue: 0 RX desc=0 - RX free threshold=0 RX threshold registers: pthresh=0 hthresh=0 wthresh=0 RX Offloads=0x0 TX queue: 0 TX desc=0 - TX free threshold=0 TX threshold registers: pthresh=0 hthresh=0 wthresh=0 TX offloads=0x0 - TX RS bit threshold=0 testpmd>