110 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_get_features()  local
113 	writel(1, vm_dev->base + VIRTIO_MMIO_DEVICE_FEATURES_SEL);  in vm_get_features()
114 	features = readl(vm_dev->base + VIRTIO_MMIO_DEVICE_FEATURES);  in vm_get_features()
117 	writel(0, vm_dev->base + VIRTIO_MMIO_DEVICE_FEATURES_SEL);  in vm_get_features()
118 	features |= readl(vm_dev->base + VIRTIO_MMIO_DEVICE_FEATURES);  in vm_get_features()
125 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_finalize_features()  local
131 	if (vm_dev->version == 2 &&  in vm_finalize_features()
137 	writel(1, vm_dev->base + VIRTIO_MMIO_DRIVER_FEATURES_SEL);  in vm_finalize_features()
139 			vm_dev->base + VIRTIO_MMIO_DRIVER_FEATURES);  in vm_finalize_features()
141 	writel(0, vm_dev->base + VIRTIO_MMIO_DRIVER_FEATURES_SEL);  in vm_finalize_features()
143 			vm_dev->base + VIRTIO_MMIO_DRIVER_FEATURES);  in vm_finalize_features()
151 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_get()  local
152 	void __iomem *base = vm_dev->base + VIRTIO_MMIO_CONFIG;  in vm_get()
157 	if (vm_dev->version == 1) {  in vm_get()
193 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_set()  local
194 	void __iomem *base = vm_dev->base + VIRTIO_MMIO_CONFIG;  in vm_set()
199 	if (vm_dev->version == 1) {  in vm_set()
235 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_generation()  local
237 	if (vm_dev->version == 1)  in vm_generation()
240 		return readl(vm_dev->base + VIRTIO_MMIO_CONFIG_GENERATION);  in vm_generation()
245 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_get_status()  local
247 	return readl(vm_dev->base + VIRTIO_MMIO_STATUS) & 0xff;  in vm_get_status()
252 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_set_status()  local
262 	writel(status, vm_dev->base + VIRTIO_MMIO_STATUS);  in vm_set_status()
267 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_reset()  local
270 	writel(0, vm_dev->base + VIRTIO_MMIO_STATUS);  in vm_reset()
280 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vq->vdev);  in vm_notify()  local
284 	writel(vq->index, vm_dev->base + VIRTIO_MMIO_QUEUE_NOTIFY);  in vm_notify()
291 	struct virtio_mmio_device *vm_dev = opaque;  in vm_interrupt()  local
298 	status = readl(vm_dev->base + VIRTIO_MMIO_INTERRUPT_STATUS);  in vm_interrupt()
299 	writel(status, vm_dev->base + VIRTIO_MMIO_INTERRUPT_ACK);  in vm_interrupt()
302 		virtio_config_changed(&vm_dev->vdev);  in vm_interrupt()
307 		spin_lock_irqsave(&vm_dev->lock, flags);  in vm_interrupt()
308 		list_for_each_entry(info, &vm_dev->virtqueues, node)  in vm_interrupt()
310 		spin_unlock_irqrestore(&vm_dev->lock, flags);  in vm_interrupt()
320 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vq->vdev);  in vm_del_vq()  local
325 	spin_lock_irqsave(&vm_dev->lock, flags);  in vm_del_vq()
327 	spin_unlock_irqrestore(&vm_dev->lock, flags);  in vm_del_vq()
330 	writel(index, vm_dev->base + VIRTIO_MMIO_QUEUE_SEL);  in vm_del_vq()
331 	if (vm_dev->version == 1) {  in vm_del_vq()
332 		writel(0, vm_dev->base + VIRTIO_MMIO_QUEUE_PFN);  in vm_del_vq()
334 		writel(0, vm_dev->base + VIRTIO_MMIO_QUEUE_READY);  in vm_del_vq()
335 		WARN_ON(readl(vm_dev->base + VIRTIO_MMIO_QUEUE_READY));  in vm_del_vq()
345 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_del_vqs()  local
351 	free_irq(platform_get_irq(vm_dev->pdev, 0), vm_dev);  in vm_del_vqs()
356 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_synchronize_cbs()  local
358 	synchronize_irq(platform_get_irq(vm_dev->pdev, 0));  in vm_synchronize_cbs()
365 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_setup_vq()  local
376 	writel(index, vm_dev->base + VIRTIO_MMIO_QUEUE_SEL);  in vm_setup_vq()
379 	if (readl(vm_dev->base + (vm_dev->version == 1 ?  in vm_setup_vq()
392 	num = readl(vm_dev->base + VIRTIO_MMIO_QUEUE_NUM_MAX);  in vm_setup_vq()
409 	writel(virtqueue_get_vring_size(vq), vm_dev->base + VIRTIO_MMIO_QUEUE_NUM);  in vm_setup_vq()
410 	if (vm_dev->version == 1) {  in vm_setup_vq()
426 		writel(PAGE_SIZE, vm_dev->base + VIRTIO_MMIO_QUEUE_ALIGN);  in vm_setup_vq()
427 		writel(q_pfn, vm_dev->base + VIRTIO_MMIO_QUEUE_PFN);  in vm_setup_vq()
432 		writel((u32)addr, vm_dev->base + VIRTIO_MMIO_QUEUE_DESC_LOW);  in vm_setup_vq()
434 				vm_dev->base + VIRTIO_MMIO_QUEUE_DESC_HIGH);  in vm_setup_vq()
437 		writel((u32)addr, vm_dev->base + VIRTIO_MMIO_QUEUE_AVAIL_LOW);  in vm_setup_vq()
439 				vm_dev->base + VIRTIO_MMIO_QUEUE_AVAIL_HIGH);  in vm_setup_vq()
442 		writel((u32)addr, vm_dev->base + VIRTIO_MMIO_QUEUE_USED_LOW);  in vm_setup_vq()
444 				vm_dev->base + VIRTIO_MMIO_QUEUE_USED_HIGH);  in vm_setup_vq()
446 		writel(1, vm_dev->base + VIRTIO_MMIO_QUEUE_READY);  in vm_setup_vq()
452 	spin_lock_irqsave(&vm_dev->lock, flags);  in vm_setup_vq()
453 	list_add(&info->node, &vm_dev->virtqueues);  in vm_setup_vq()
454 	spin_unlock_irqrestore(&vm_dev->lock, flags);  in vm_setup_vq()
461 	if (vm_dev->version == 1) {  in vm_setup_vq()
462 		writel(0, vm_dev->base + VIRTIO_MMIO_QUEUE_PFN);  in vm_setup_vq()
464 		writel(0, vm_dev->base + VIRTIO_MMIO_QUEUE_READY);  in vm_setup_vq()
465 		WARN_ON(readl(vm_dev->base + VIRTIO_MMIO_QUEUE_READY));  in vm_setup_vq()
480 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_find_vqs()  local
481 	int irq = platform_get_irq(vm_dev->pdev, 0);  in vm_find_vqs()
488 			dev_name(&vdev->dev), vm_dev);  in vm_find_vqs()
492 	if (of_property_read_bool(vm_dev->pdev->dev.of_node, "wakeup-source"))  in vm_find_vqs()
514 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_bus_name()  local
516 	return vm_dev->pdev->name;  in vm_bus_name()
522 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in vm_get_shm_region()  local
526 	writel(id, vm_dev->base + VIRTIO_MMIO_SHM_SEL);  in vm_get_shm_region()
529 	len = (u64) readl(vm_dev->base + VIRTIO_MMIO_SHM_LEN_LOW);  in vm_get_shm_region()
530 	len |= (u64) readl(vm_dev->base + VIRTIO_MMIO_SHM_LEN_HIGH) << 32;  in vm_get_shm_region()
541 	addr = (u64) readl(vm_dev->base + VIRTIO_MMIO_SHM_BASE_LOW);  in vm_get_shm_region()
542 	addr |= (u64) readl(vm_dev->base + VIRTIO_MMIO_SHM_BASE_HIGH) << 32;  in vm_get_shm_region()
568 	struct virtio_mmio_device *vm_dev = dev_get_drvdata(dev);  in virtio_mmio_freeze()  local
570 	return virtio_device_freeze(&vm_dev->vdev);  in virtio_mmio_freeze()
575 	struct virtio_mmio_device *vm_dev = dev_get_drvdata(dev);  in virtio_mmio_restore()  local
577 	if (vm_dev->version == 1)  in virtio_mmio_restore()
578 		writel(PAGE_SIZE, vm_dev->base + VIRTIO_MMIO_GUEST_PAGE_SIZE);  in virtio_mmio_restore()
580 	return virtio_device_restore(&vm_dev->vdev);  in virtio_mmio_restore()
592 	struct virtio_mmio_device *vm_dev = to_virtio_mmio_device(vdev);  in virtio_mmio_release_dev()  local
593 	struct platform_device *pdev = vm_dev->pdev;  in virtio_mmio_release_dev()
595 	devm_kfree(&pdev->dev, vm_dev);  in virtio_mmio_release_dev()
602 	struct virtio_mmio_device *vm_dev;  in virtio_mmio_probe()  local
606 	vm_dev = devm_kzalloc(&pdev->dev, sizeof(*vm_dev), GFP_KERNEL);  in virtio_mmio_probe()
607 	if (!vm_dev)  in virtio_mmio_probe()
610 	vm_dev->vdev.dev.parent = &pdev->dev;  in virtio_mmio_probe()
611 	vm_dev->vdev.dev.release = virtio_mmio_release_dev;  in virtio_mmio_probe()
612 	vm_dev->vdev.config = &virtio_mmio_config_ops;  in virtio_mmio_probe()
613 	vm_dev->pdev = pdev;  in virtio_mmio_probe()
614 	INIT_LIST_HEAD(&vm_dev->virtqueues);  in virtio_mmio_probe()
615 	spin_lock_init(&vm_dev->lock);  in virtio_mmio_probe()
617 	vm_dev->base = devm_platform_ioremap_resource(pdev, 0);  in virtio_mmio_probe()
618 	if (IS_ERR(vm_dev->base))  in virtio_mmio_probe()
619 		return PTR_ERR(vm_dev->base);  in virtio_mmio_probe()
622 	magic = readl(vm_dev->base + VIRTIO_MMIO_MAGIC_VALUE);  in virtio_mmio_probe()
629 	vm_dev->version = readl(vm_dev->base + VIRTIO_MMIO_VERSION);  in virtio_mmio_probe()
630 	if (vm_dev->version < 1 || vm_dev->version > 2) {  in virtio_mmio_probe()
632 				vm_dev->version);  in virtio_mmio_probe()
636 	vm_dev->vdev.id.device = readl(vm_dev->base + VIRTIO_MMIO_DEVICE_ID);  in virtio_mmio_probe()
637 	if (vm_dev->vdev.id.device == 0) {  in virtio_mmio_probe()
644 	vm_dev->vdev.id.vendor = readl(vm_dev->base + VIRTIO_MMIO_VENDOR_ID);  in virtio_mmio_probe()
646 	if (vm_dev->version == 1) {  in virtio_mmio_probe()
647 		writel(PAGE_SIZE, vm_dev->base + VIRTIO_MMIO_GUEST_PAGE_SIZE);  in virtio_mmio_probe()
665 	platform_set_drvdata(pdev, vm_dev);  in virtio_mmio_probe()
667 	rc = register_virtio_device(&vm_dev->vdev);  in virtio_mmio_probe()
669 		put_device(&vm_dev->vdev.dev);  in virtio_mmio_probe()
676 	struct virtio_mmio_device *vm_dev = platform_get_drvdata(pdev);  in virtio_mmio_remove()  local
677 	unregister_virtio_device(&vm_dev->vdev);  in virtio_mmio_remove()