145 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_get_features()  local
148 	vp_iowrite32(0, &vp_dev->common->device_feature_select);  in vp_get_features()
149 	features = vp_ioread32(&vp_dev->common->device_feature);  in vp_get_features()
150 	vp_iowrite32(1, &vp_dev->common->device_feature_select);  in vp_get_features()
151 	features |= ((u64)vp_ioread32(&vp_dev->common->device_feature) << 32);  in vp_get_features()
158 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_transport_features()  local
159 	struct pci_dev *pci_dev = vp_dev->pci_dev;  in vp_transport_features()
169 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_finalize_features()  local
184 	vp_iowrite32(0, &vp_dev->common->guest_feature_select);  in vp_finalize_features()
185 	vp_iowrite32((u32)vdev->features, &vp_dev->common->guest_feature);  in vp_finalize_features()
186 	vp_iowrite32(1, &vp_dev->common->guest_feature_select);  in vp_finalize_features()
187 	vp_iowrite32(vdev->features >> 32, &vp_dev->common->guest_feature);  in vp_finalize_features()
196 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_get()  local
201 	BUG_ON(offset + len > vp_dev->device_len);  in vp_get()
205 		b = ioread8(vp_dev->device + offset);  in vp_get()
209 		w = cpu_to_le16(ioread16(vp_dev->device + offset));  in vp_get()
213 		l = cpu_to_le32(ioread32(vp_dev->device + offset));  in vp_get()
217 		l = cpu_to_le32(ioread32(vp_dev->device + offset));  in vp_get()
219 		l = cpu_to_le32(ioread32(vp_dev->device + offset + sizeof l));  in vp_get()
232 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_set()  local
237 	BUG_ON(offset + len > vp_dev->device_len);  in vp_set()
242 		iowrite8(b, vp_dev->device + offset);  in vp_set()
246 		iowrite16(le16_to_cpu(w), vp_dev->device + offset);  in vp_set()
250 		iowrite32(le32_to_cpu(l), vp_dev->device + offset);  in vp_set()
254 		iowrite32(le32_to_cpu(l), vp_dev->device + offset);  in vp_set()
256 		iowrite32(le32_to_cpu(l), vp_dev->device + offset + sizeof l);  in vp_set()
265 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_generation()  local
266 	return vp_ioread8(&vp_dev->common->config_generation);  in vp_generation()
272 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_get_status()  local
273 	return vp_ioread8(&vp_dev->common->device_status);  in vp_get_status()
278 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_set_status()  local
281 	vp_iowrite8(status, &vp_dev->common->device_status);  in vp_set_status()
286 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_reset()  local
288 	vp_iowrite8(0, &vp_dev->common->device_status);  in vp_reset()
294 	while (vp_ioread8(&vp_dev->common->device_status))  in vp_reset()
300 static u16 vp_config_vector(struct virtio_pci_device *vp_dev, u16 vector)  in vp_config_vector()  argument
303 	vp_iowrite16(vector, &vp_dev->common->msix_config);  in vp_config_vector()
306 	return vp_ioread16(&vp_dev->common->msix_config);  in vp_config_vector()
309 static struct virtqueue *setup_vq(struct virtio_pci_device *vp_dev,  in setup_vq()  argument
317 	struct virtio_pci_common_cfg __iomem *cfg = vp_dev->common;  in setup_vq()
334 		dev_warn(&vp_dev->pci_dev->dev, "bad queue size %u", num);  in setup_vq()
345 				    SMP_CACHE_BYTES, &vp_dev->vdev,  in setup_vq()
360 	if (vp_dev->notify_base) {  in setup_vq()
362 		if ((u64)off * vp_dev->notify_offset_multiplier + 2  in setup_vq()
363 		    > vp_dev->notify_len) {  in setup_vq()
364 			dev_warn(&vp_dev->pci_dev->dev,  in setup_vq()
367 				 off, vp_dev->notify_offset_multiplier,  in setup_vq()
368 				 index, vp_dev->notify_len);  in setup_vq()
372 		vq->priv = (void __force *)vp_dev->notify_base +  in setup_vq()
373 			off * vp_dev->notify_offset_multiplier;  in setup_vq()
375 		vq->priv = (void __force *)map_capability(vp_dev->pci_dev,  in setup_vq()
376 					  vp_dev->notify_map_cap, 2, 2,  in setup_vq()
377 					  off * vp_dev->notify_offset_multiplier, 2,  in setup_vq()
398 	if (!vp_dev->notify_base)  in setup_vq()
399 		pci_iounmap(vp_dev->pci_dev, (void __iomem __force *)vq->priv);  in setup_vq()
411 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_modern_find_vqs()  local
422 		vp_iowrite16(vq->index, &vp_dev->common->queue_select);  in vp_modern_find_vqs()
423 		vp_iowrite16(1, &vp_dev->common->queue_enable);  in vp_modern_find_vqs()
432 	struct virtio_pci_device *vp_dev = to_vp_device(vq->vdev);  in del_vq()  local
434 	vp_iowrite16(vq->index, &vp_dev->common->queue_select);  in del_vq()
436 	if (vp_dev->msix_enabled) {  in del_vq()
438 			     &vp_dev->common->queue_msix_vector);  in del_vq()
440 		vp_ioread16(&vp_dev->common->queue_msix_vector);  in del_vq()
443 	if (!vp_dev->notify_base)  in del_vq()
444 		pci_iounmap(vp_dev->pci_dev, (void __force __iomem *)vq->priv);  in del_vq()
584 int virtio_pci_modern_probe(struct virtio_pci_device *vp_dev)  in virtio_pci_modern_probe()  argument
586 	struct pci_dev *pci_dev = vp_dev->pci_dev;  in virtio_pci_modern_probe()
601 		vp_dev->vdev.id.device = pci_dev->subsystem_device;  in virtio_pci_modern_probe()
604 		vp_dev->vdev.id.device = pci_dev->device - 0x1040;  in virtio_pci_modern_probe()
606 	vp_dev->vdev.id.vendor = pci_dev->subsystem_vendor;  in virtio_pci_modern_probe()
611 					    &vp_dev->modern_bars);  in virtio_pci_modern_probe()
621 					 &vp_dev->modern_bars);  in virtio_pci_modern_probe()
624 					    &vp_dev->modern_bars);  in virtio_pci_modern_probe()
644 					    &vp_dev->modern_bars);  in virtio_pci_modern_probe()
646 	err = pci_request_selected_regions(pci_dev, vp_dev->modern_bars,  in virtio_pci_modern_probe()
652 	vp_dev->common = map_capability(pci_dev, common,  in virtio_pci_modern_probe()
656 	if (!vp_dev->common)  in virtio_pci_modern_probe()
658 	vp_dev->isr = map_capability(pci_dev, isr, sizeof(u8), 1,  in virtio_pci_modern_probe()
661 	if (!vp_dev->isr)  in virtio_pci_modern_probe()
668 			      &vp_dev->notify_offset_multiplier);  in virtio_pci_modern_probe()
685 		vp_dev->notify_base = map_capability(pci_dev, notify, 2, 2,  in virtio_pci_modern_probe()
687 						     &vp_dev->notify_len);  in virtio_pci_modern_probe()
688 		if (!vp_dev->notify_base)  in virtio_pci_modern_probe()
691 		vp_dev->notify_map_cap = notify;  in virtio_pci_modern_probe()
698 		vp_dev->device = map_capability(pci_dev, device, 0, 4,  in virtio_pci_modern_probe()
700 						&vp_dev->device_len);  in virtio_pci_modern_probe()
701 		if (!vp_dev->device)  in virtio_pci_modern_probe()
704 		vp_dev->vdev.config = &virtio_pci_config_ops;  in virtio_pci_modern_probe()
706 		vp_dev->vdev.config = &virtio_pci_config_nodev_ops;  in virtio_pci_modern_probe()
709 	vp_dev->config_vector = vp_config_vector;  in virtio_pci_modern_probe()
710 	vp_dev->setup_vq = setup_vq;  in virtio_pci_modern_probe()
711 	vp_dev->del_vq = del_vq;  in virtio_pci_modern_probe()
716 	if (vp_dev->notify_base)  in virtio_pci_modern_probe()
717 		pci_iounmap(pci_dev, vp_dev->notify_base);  in virtio_pci_modern_probe()
719 	pci_iounmap(pci_dev, vp_dev->isr);  in virtio_pci_modern_probe()
721 	pci_iounmap(pci_dev, vp_dev->common);  in virtio_pci_modern_probe()
726 void virtio_pci_modern_remove(struct virtio_pci_device *vp_dev)  in virtio_pci_modern_remove()  argument
728 	struct pci_dev *pci_dev = vp_dev->pci_dev;  in virtio_pci_modern_remove()
730 	if (vp_dev->device)  in virtio_pci_modern_remove()
731 		pci_iounmap(pci_dev, vp_dev->device);  in virtio_pci_modern_remove()
732 	if (vp_dev->notify_base)  in virtio_pci_modern_remove()
733 		pci_iounmap(pci_dev, vp_dev->notify_base);  in virtio_pci_modern_remove()
734 	pci_iounmap(pci_dev, vp_dev->isr);  in virtio_pci_modern_remove()
735 	pci_iounmap(pci_dev, vp_dev->common);  in virtio_pci_modern_remove()
736 	pci_release_selected_regions(pci_dev, vp_dev->modern_bars);  in virtio_pci_modern_remove()