96 	void (*get)(struct virtio_device *vdev, unsigned offset,
98 	void (*set)(struct virtio_device *vdev, unsigned offset,
100 	u32 (*generation)(struct virtio_device *vdev);
101 	u8 (*get_status)(struct virtio_device *vdev);
102 	void (*set_status)(struct virtio_device *vdev, u8 status);
103 	void (*reset)(struct virtio_device *vdev);
110 	u64 (*get_features)(struct virtio_device *vdev);
111 	int (*finalize_features)(struct virtio_device *vdev);
112 	const char *(*bus_name)(struct virtio_device *vdev);
115 	const struct cpumask *(*get_vq_affinity)(struct virtio_device *vdev,
117 	bool (*get_shm_region)(struct virtio_device *vdev,
124 void virtio_check_driver_offered_feature(const struct virtio_device *vdev,
134 static inline bool __virtio_test_bit(const struct virtio_device *vdev,  in __virtio_test_bit()  argument
143 	return vdev->features & BIT_ULL(fbit);  in __virtio_test_bit()
151 static inline void __virtio_set_bit(struct virtio_device *vdev,  in __virtio_set_bit()  argument
160 	vdev->features |= BIT_ULL(fbit);  in __virtio_set_bit()
168 static inline void __virtio_clear_bit(struct virtio_device *vdev,  in __virtio_clear_bit()  argument
177 	vdev->features &= ~BIT_ULL(fbit);  in __virtio_clear_bit()
185 static inline bool virtio_has_feature(const struct virtio_device *vdev,  in virtio_has_feature()  argument
189 		virtio_check_driver_offered_feature(vdev, fbit);  in virtio_has_feature()
191 	return __virtio_test_bit(vdev, fbit);  in virtio_has_feature()
198 static inline bool virtio_has_dma_quirk(const struct virtio_device *vdev)  in virtio_has_dma_quirk()  argument
204 	return !virtio_has_feature(vdev, VIRTIO_F_ACCESS_PLATFORM);  in virtio_has_dma_quirk()
208 struct virtqueue *virtio_find_single_vq(struct virtio_device *vdev,  in virtio_find_single_vq()  argument
214 	int err = vdev->config->find_vqs(vdev, 1, &vq, callbacks, names, NULL,  in virtio_find_single_vq()
222 int virtio_find_vqs(struct virtio_device *vdev, unsigned nvqs,  in virtio_find_vqs()  argument
227 	return vdev->config->find_vqs(vdev, nvqs, vqs, callbacks, names, NULL, desc);  in virtio_find_vqs()
231 int virtio_find_vqs_ctx(struct virtio_device *vdev, unsigned nvqs,  in virtio_find_vqs_ctx()  argument
236 	return vdev->config->find_vqs(vdev, nvqs, vqs, callbacks, names, ctx,  in virtio_find_vqs_ctx()
299 const char *virtio_bus_name(struct virtio_device *vdev)  in virtio_bus_name()  argument
301 	if (!vdev->config->bus_name)  in virtio_bus_name()
303 	return vdev->config->bus_name(vdev);  in virtio_bus_name()
318 	struct virtio_device *vdev = vq->vdev;  in virtqueue_set_affinity()  local
319 	if (vdev->config->set_vq_affinity)  in virtqueue_set_affinity()
320 		return vdev->config->set_vq_affinity(vq, cpu_mask);  in virtqueue_set_affinity()
325 bool virtio_get_shm_region(struct virtio_device *vdev,  in virtio_get_shm_region()  argument
328 	if (!vdev->config->get_shm_region)  in virtio_get_shm_region()
330 	return vdev->config->get_shm_region(vdev, region, id);  in virtio_get_shm_region()
333 static inline bool virtio_is_little_endian(struct virtio_device *vdev)  in virtio_is_little_endian()  argument
335 	return virtio_has_feature(vdev, VIRTIO_F_VERSION_1) ||  in virtio_is_little_endian()
340 static inline u16 virtio16_to_cpu(struct virtio_device *vdev, __virtio16 val)  in virtio16_to_cpu()  argument
342 	return __virtio16_to_cpu(virtio_is_little_endian(vdev), val);  in virtio16_to_cpu()
345 static inline __virtio16 cpu_to_virtio16(struct virtio_device *vdev, u16 val)  in cpu_to_virtio16()  argument
347 	return __cpu_to_virtio16(virtio_is_little_endian(vdev), val);  in cpu_to_virtio16()
350 static inline u32 virtio32_to_cpu(struct virtio_device *vdev, __virtio32 val)  in virtio32_to_cpu()  argument
352 	return __virtio32_to_cpu(virtio_is_little_endian(vdev), val);  in virtio32_to_cpu()
355 static inline __virtio32 cpu_to_virtio32(struct virtio_device *vdev, u32 val)  in cpu_to_virtio32()  argument
357 	return __cpu_to_virtio32(virtio_is_little_endian(vdev), val);  in cpu_to_virtio32()
360 static inline u64 virtio64_to_cpu(struct virtio_device *vdev, __virtio64 val)  in virtio64_to_cpu()  argument
362 	return __virtio64_to_cpu(virtio_is_little_endian(vdev), val);  in virtio64_to_cpu()
365 static inline __virtio64 cpu_to_virtio64(struct virtio_device *vdev, u64 val)  in cpu_to_virtio64()  argument
367 	return __cpu_to_virtio64(virtio_is_little_endian(vdev), val);  in cpu_to_virtio64()
370 #define virtio_to_cpu(vdev, x) \  argument
373 		__virtio16: virtio16_to_cpu((vdev), (x)), \
374 		__virtio32: virtio32_to_cpu((vdev), (x)), \
375 		__virtio64: virtio64_to_cpu((vdev), (x)) \
378 #define cpu_to_virtio(vdev, x, m) \  argument
381 		__virtio16: cpu_to_virtio16((vdev), (x)), \
382 		__virtio32: cpu_to_virtio32((vdev), (x)), \
383 		__virtio64: cpu_to_virtio64((vdev), (x)) \
390 #define virtio_cread(vdev, structname, member, ptr)			\  argument
396 		typecheck(typeof(virtio_to_cpu((vdev), virtio_cread_v)), *(ptr)); \
402 			vdev->config->get((vdev), 			\
408 			__virtio_cread_many((vdev), 			\
415 		*(ptr) = virtio_to_cpu(vdev, virtio_cread_v);		\
419 #define virtio_cwrite(vdev, structname, member, ptr)			\  argument
422 			cpu_to_virtio(vdev, *(ptr), ((structname*)0)->member); \
426 		typecheck(typeof(virtio_to_cpu((vdev), virtio_cwrite_v)), *(ptr)); \
428 		vdev->config->set((vdev), offsetof(structname, member),	\
454 #define virtio_cread_le(vdev, structname, member, ptr)			\  argument
466 			vdev->config->get((vdev), 			\
472 			__virtio_cread_many((vdev), 			\
482 #define virtio_cwrite_le(vdev, structname, member, ptr)			\  argument
491 		vdev->config->set((vdev), offsetof(structname, member),	\
498 static inline void __virtio_cread_many(struct virtio_device *vdev,  in __virtio_cread_many()  argument
502 	u32 old, gen = vdev->config->generation ?  in __virtio_cread_many()
503 		vdev->config->generation(vdev) : 0;  in __virtio_cread_many()
511 			vdev->config->get(vdev, offset + bytes * i,  in __virtio_cread_many()
514 		gen = vdev->config->generation ?  in __virtio_cread_many()
515 			vdev->config->generation(vdev) : 0;  in __virtio_cread_many()
519 static inline void virtio_cread_bytes(struct virtio_device *vdev,  in virtio_cread_bytes()  argument
523 	__virtio_cread_many(vdev, offset, buf, len, 1);  in virtio_cread_bytes()
526 static inline u8 virtio_cread8(struct virtio_device *vdev, unsigned int offset)  in virtio_cread8()  argument
531 	vdev->config->get(vdev, offset, &ret, sizeof(ret));  in virtio_cread8()
535 static inline void virtio_cwrite8(struct virtio_device *vdev,  in virtio_cwrite8()  argument
539 	vdev->config->set(vdev, offset, &val, sizeof(val));  in virtio_cwrite8()
542 static inline u16 virtio_cread16(struct virtio_device *vdev,  in virtio_cread16()  argument
548 	vdev->config->get(vdev, offset, &ret, sizeof(ret));  in virtio_cread16()
549 	return virtio16_to_cpu(vdev, ret);  in virtio_cread16()
552 static inline void virtio_cwrite16(struct virtio_device *vdev,  in virtio_cwrite16()  argument
558 	v = cpu_to_virtio16(vdev, val);  in virtio_cwrite16()
559 	vdev->config->set(vdev, offset, &v, sizeof(v));  in virtio_cwrite16()
562 static inline u32 virtio_cread32(struct virtio_device *vdev,  in virtio_cread32()  argument
568 	vdev->config->get(vdev, offset, &ret, sizeof(ret));  in virtio_cread32()
569 	return virtio32_to_cpu(vdev, ret);  in virtio_cread32()
572 static inline void virtio_cwrite32(struct virtio_device *vdev,  in virtio_cwrite32()  argument
578 	v = cpu_to_virtio32(vdev, val);  in virtio_cwrite32()
579 	vdev->config->set(vdev, offset, &v, sizeof(v));  in virtio_cwrite32()
582 static inline u64 virtio_cread64(struct virtio_device *vdev,  in virtio_cread64()  argument
587 	__virtio_cread_many(vdev, offset, &ret, 1, sizeof(ret));  in virtio_cread64()
588 	return virtio64_to_cpu(vdev, ret);  in virtio_cread64()
591 static inline void virtio_cwrite64(struct virtio_device *vdev,  in virtio_cwrite64()  argument
597 	v = cpu_to_virtio64(vdev, val);  in virtio_cwrite64()
598 	vdev->config->set(vdev, offset, &v, sizeof(v));  in virtio_cwrite64()
602 #define virtio_cread_feature(vdev, fbit, structname, member, ptr)	\  argument
605 		if (!virtio_has_feature(vdev, fbit))			\
608 			virtio_cread((vdev), structname, member, ptr);	\
613 #define virtio_cread_le_feature(vdev, fbit, structname, member, ptr)	\  argument
616 		if (!virtio_has_feature(vdev, fbit))			\
619 			virtio_cread_le((vdev), structname, member, ptr); \