vfio-pci与igb_uio映射硬件资源到DPDK的流程分析

引用文章：[VFIO Introduction](https://links.jianshu.com/go?to=https%3A%2F%2Fblog.csdn.net%2Fbemind1%2Farticle%2Fdetails%2F99678642)  
DPDK(version 20.02)函数rte\_pci\_map\_device用来映射pci device resource到用户态:

```
/* Map pci device, only reserve skeleton codes */
int
rte_pci_map_device(struct rte_pci_device *dev)
{
    switch (dev->kdrv) {
    case RTE_KDRV_VFIO:
        pci_vfio_map_resource(dev);
        break;
    case RTE_KDRV_IGB_UIO:
        pci_uio_map_resource(dev);
        break;
}
```

这个函数执行前，DPDK已经通过扫描sys文件系统，获取了pci设备绑定的driver，当设备绑定到vfio-pci或者igb\_uio的时候,会使用不同的方式映射设备。以下分别介绍：

当设备绑定到vfio-pci时，调用函数pci\_vfio\_map\_resource

## 1.1 函数pci\_vfio\_map\_resource

我们在此对函数pci\_vfio\_map\_resource\_primary的主要部分进行分析。

### 1.1.1 rte\_vfio\_setup\_device

此函数的主要工作内容如下：

-   首先要获取device对应的iommu\_group，找到iommu\_group id, 并打开对应的字符设备

```
/* 此函数通过sys文件系统获取iommu_group的id号 */
int
rte_vfio_get_group_num(const char *sysfs_base,
        const char *dev_addr, int *iommu_group_num)

/* 此函数打开字符设备/dev/vfio/{iommu_group}，并返回字符设备句柄  */
int
rte_vfio_get_group_fd(int iommu_group_num)
{
    struct vfio_config *vfio_cfg;

/* get the vfio_config it belongs to */
    vfio_cfg = get_vfio_cfg_by_group_num(iommu_group_num);
    vfio_cfg = vfio_cfg ? vfio_cfg : default_vfio_cfg;

return vfio_get_group_fd(vfio_cfg, iommu_group_num);
}
```

```
struct vfio_config {
    int vfio_enabled;
    int vfio_container_fd;
    int vfio_active_groups;
    const struct vfio_iommu_type *vfio_iommu_type;
    struct vfio_group vfio_groups[VFIO_MAX_GROUPS];
    struct user_mem_maps mem_maps;
};

/* get the vfio_config it belongs to */
    struct vfio_config *vfio_cfg;
    vfio_cfg = get_vfio_cfg_by_group_num(iommu_group_num);
    vfio_cfg = vfio_cfg ? vfio_cfg : default_vfio_cfg;
    vfio_container_fd = vfio_cfg->vfio_container_fd;
    user_mem_maps = &vfio_cfg->mem_maps;
```

-   ? 将刚刚打开的字符设备添加到container中，并完成iommu的内存映射，在Intel架构中，调用函数vfio\_type1\_dma\_map做映射，DPDK映射的内存有(看上去是所有DPDK管理的内存都做了映射)。。。。。
    
-   获取device fd及device info并返回。

```
/* get a file descriptor for the device */
*vfio_dev_fd = ioctl(vfio_group_fd, VFIO_GROUP_GET_DEVICE_FD, dev_addr);

/* test and setup the device */
ret = ioctl(*vfio_dev_fd, VFIO_DEVICE_GET_INFO, device_info);
```

### 1.1.2 pci\_vfio\_get\_msix\_bar

通过读取设备的PCI配置空间，读取的方法是通过上一步取得的设备句柄，获取msix的配置信息。并保存到vfio\_res结构体中。

```
/* get MSI-X BAR, if any (we have to know where it is because we can't
 * easily mmap it when using VFIO)
*/
ret = pci_vfio_get_msix_bar(vfio_dev_fd, &vfio_res->msix_table);

```

### 1.1.3 pci\_vfio\_get\_region\_info & pci\_vfio\_mmap\_bar

获取设备的BAR REGION(寄存器，中断等信息)，并完成寄存器的mmap映射，让用户态程序能够直接访问PCI设备的寄存器。

### 1.1.4 pci\_rte\_vfio\_setup\_device

这个函数首先设置中断，将第一个中断添加到系统的中断轮训链表去。  
然后设置开启设备，并对设备复位。

```
static int
pci_rte_vfio_setup_device(struct rte_pci_device *dev, int vfio_dev_fd)
{
    if (pci_vfio_setup_interrupts(dev, vfio_dev_fd) != 0) {
        RTE_LOG(ERR, EAL, "Error setting up interrupts!\n");
        return -1;
    }

/* set bus mastering for the device */
    if (pci_vfio_set_bus_master(vfio_dev_fd, true)) {
        RTE_LOG(ERR, EAL, "Cannot set up bus mastering!\n");
        return -1;
    }

/*
     * Reset the device. If the device is not capable of resetting,
     * then it updates errno as EINVAL.
     */
    if (ioctl(vfio_dev_fd, VFIO_DEVICE_RESET) && errno != EINVAL) {
        RTE_LOG(ERR, EAL, "Unable to reset device! Error: %d (%s)\n",
                errno, strerror(errno));
        return -1;
    }

return 0;
}
```