326 static unsigned long virtio_mem_mb_id_to_phys(unsigned long mb_id)  in virtio_mem_mb_id_to_phys()  argument
328 	return mb_id * memory_block_size_bytes();  in virtio_mem_mb_id_to_phys()
355 	const unsigned long mb_id = virtio_mem_phys_to_mb_id(addr);  in virtio_mem_phys_to_sb_id()  local
356 	const unsigned long mb_addr = virtio_mem_mb_id_to_phys(mb_id);  in virtio_mem_phys_to_sb_id()
432 					unsigned long mb_id, uint8_t state)  in virtio_mem_sbm_set_mb_state()  argument
434 	const unsigned long idx = mb_id - vm->sbm.first_mb_id;  in virtio_mem_sbm_set_mb_state()
449 					   unsigned long mb_id)  in virtio_mem_sbm_get_mb_state()  argument
451 	const unsigned long idx = mb_id - vm->sbm.first_mb_id;  in virtio_mem_sbm_get_mb_state()
499 					  unsigned long mb_id, int sb_id)  in virtio_mem_sbm_sb_state_bit_nr()  argument
501 	return (mb_id - vm->sbm.first_mb_id) * vm->sbm.sbs_per_mb + sb_id;  in virtio_mem_sbm_sb_state_bit_nr()
510 					  unsigned long mb_id, int sb_id,  in virtio_mem_sbm_set_sb_plugged()  argument
513 	const int bit = virtio_mem_sbm_sb_state_bit_nr(vm, mb_id, sb_id);  in virtio_mem_sbm_set_sb_plugged()
524 					    unsigned long mb_id, int sb_id,  in virtio_mem_sbm_set_sb_unplugged()  argument
527 	const int bit = virtio_mem_sbm_sb_state_bit_nr(vm, mb_id, sb_id);  in virtio_mem_sbm_set_sb_unplugged()
536 					   unsigned long mb_id, int sb_id,  in virtio_mem_sbm_test_sb_plugged()  argument
539 	const int bit = virtio_mem_sbm_sb_state_bit_nr(vm, mb_id, sb_id);  in virtio_mem_sbm_test_sb_plugged()
553 					     unsigned long mb_id, int sb_id,  in virtio_mem_sbm_test_sb_unplugged()  argument
556 	const int bit = virtio_mem_sbm_sb_state_bit_nr(vm, mb_id, sb_id);  in virtio_mem_sbm_test_sb_unplugged()
568 					    unsigned long mb_id)  in virtio_mem_sbm_first_unplugged_sb()  argument
570 	const int bit = virtio_mem_sbm_sb_state_bit_nr(vm, mb_id, 0);  in virtio_mem_sbm_first_unplugged_sb()
663 static int virtio_mem_sbm_add_mb(struct virtio_mem *vm, unsigned long mb_id)  in virtio_mem_sbm_add_mb()  argument
665 	const uint64_t addr = virtio_mem_mb_id_to_phys(mb_id);  in virtio_mem_sbm_add_mb()
715 static int virtio_mem_sbm_remove_mb(struct virtio_mem *vm, unsigned long mb_id)  in virtio_mem_sbm_remove_mb()  argument
717 	const uint64_t addr = virtio_mem_mb_id_to_phys(mb_id);  in virtio_mem_sbm_remove_mb()
761 						unsigned long mb_id)  in virtio_mem_sbm_offline_and_remove_mb()  argument
763 	const uint64_t addr = virtio_mem_mb_id_to_phys(mb_id);  in virtio_mem_sbm_offline_and_remove_mb()
827 					      unsigned long mb_id)  in virtio_mem_sbm_notify_going_online()  argument
829 	switch (virtio_mem_sbm_get_mb_state(vm, mb_id)) {  in virtio_mem_sbm_notify_going_online()
842 					  unsigned long mb_id)  in virtio_mem_sbm_notify_offline()  argument
844 	switch (virtio_mem_sbm_get_mb_state(vm, mb_id)) {  in virtio_mem_sbm_notify_offline()
847 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_notify_offline()
852 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_notify_offline()
862 					 unsigned long mb_id,  in virtio_mem_sbm_notify_online()  argument
868 	switch (virtio_mem_sbm_get_mb_state(vm, mb_id)) {  in virtio_mem_sbm_notify_online()
883 	virtio_mem_sbm_set_mb_state(vm, mb_id, new_state);  in virtio_mem_sbm_notify_online()
887 						unsigned long mb_id)  in virtio_mem_sbm_notify_going_offline()  argument
894 		if (virtio_mem_sbm_test_sb_plugged(vm, mb_id, sb_id, 1))  in virtio_mem_sbm_notify_going_offline()
896 		pfn = PFN_DOWN(virtio_mem_mb_id_to_phys(mb_id) +  in virtio_mem_sbm_notify_going_offline()
903 						 unsigned long mb_id)  in virtio_mem_sbm_notify_cancel_offline()  argument
910 		if (virtio_mem_sbm_test_sb_plugged(vm, mb_id, sb_id, 1))  in virtio_mem_sbm_notify_cancel_offline()
912 		pfn = PFN_DOWN(virtio_mem_mb_id_to_phys(mb_id) +  in virtio_mem_sbm_notify_cancel_offline()
1455 static int virtio_mem_sbm_plug_sb(struct virtio_mem *vm, unsigned long mb_id,  in virtio_mem_sbm_plug_sb()  argument
1458 	const uint64_t addr = virtio_mem_mb_id_to_phys(mb_id) +  in virtio_mem_sbm_plug_sb()
1465 		virtio_mem_sbm_set_sb_plugged(vm, mb_id, sb_id, count);  in virtio_mem_sbm_plug_sb()
1473 static int virtio_mem_sbm_unplug_sb(struct virtio_mem *vm, unsigned long mb_id,  in virtio_mem_sbm_unplug_sb()  argument
1476 	const uint64_t addr = virtio_mem_mb_id_to_phys(mb_id) +  in virtio_mem_sbm_unplug_sb()
1483 		virtio_mem_sbm_set_sb_unplugged(vm, mb_id, sb_id, count);  in virtio_mem_sbm_unplug_sb()
1523 					    unsigned long mb_id, uint64_t *nb_sb)  in virtio_mem_sbm_unplug_any_sb_raw()  argument
1532 		       virtio_mem_sbm_test_sb_unplugged(vm, mb_id, sb_id, 1))  in virtio_mem_sbm_unplug_any_sb_raw()
1539 		       virtio_mem_sbm_test_sb_plugged(vm, mb_id, sb_id - 1, 1)) {  in virtio_mem_sbm_unplug_any_sb_raw()
1544 		rc = virtio_mem_sbm_unplug_sb(vm, mb_id, sb_id, count);  in virtio_mem_sbm_unplug_any_sb_raw()
1561 static int virtio_mem_sbm_unplug_mb(struct virtio_mem *vm, unsigned long mb_id)  in virtio_mem_sbm_unplug_mb()  argument
1565 	return virtio_mem_sbm_unplug_any_sb_raw(vm, mb_id, &nb_sb);  in virtio_mem_sbm_unplug_mb()
1572 					  unsigned long *mb_id)  in virtio_mem_sbm_prepare_next_mb()  argument
1590 	*mb_id = vm->sbm.next_mb_id++;  in virtio_mem_sbm_prepare_next_mb()
1601 					  unsigned long mb_id, uint64_t *nb_sb)  in virtio_mem_sbm_plug_and_add_mb()  argument
1613 	rc = virtio_mem_sbm_plug_sb(vm, mb_id, 0, count);  in virtio_mem_sbm_plug_and_add_mb()
1622 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_plug_and_add_mb()
1625 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_plug_and_add_mb()
1629 	rc = virtio_mem_sbm_add_mb(vm, mb_id);  in virtio_mem_sbm_plug_and_add_mb()
1633 		if (virtio_mem_sbm_unplug_sb(vm, mb_id, 0, count))  in virtio_mem_sbm_plug_and_add_mb()
1635 		virtio_mem_sbm_set_mb_state(vm, mb_id, new_state);  in virtio_mem_sbm_plug_and_add_mb()
1652 				      unsigned long mb_id, uint64_t *nb_sb)  in virtio_mem_sbm_plug_any_sb()  argument
1654 	const int old_state = virtio_mem_sbm_get_mb_state(vm, mb_id);  in virtio_mem_sbm_plug_any_sb()
1663 		sb_id = virtio_mem_sbm_first_unplugged_sb(vm, mb_id);  in virtio_mem_sbm_plug_any_sb()
1669 		       !virtio_mem_sbm_test_sb_plugged(vm, mb_id, sb_id + count, 1))  in virtio_mem_sbm_plug_any_sb()
1672 		rc = virtio_mem_sbm_plug_sb(vm, mb_id, sb_id, count);  in virtio_mem_sbm_plug_any_sb()
1680 		pfn = PFN_DOWN(virtio_mem_mb_id_to_phys(mb_id) +  in virtio_mem_sbm_plug_any_sb()
1686 	if (virtio_mem_sbm_test_sb_plugged(vm, mb_id, 0, vm->sbm.sbs_per_mb))  in virtio_mem_sbm_plug_any_sb()
1687 		virtio_mem_sbm_set_mb_state(vm, mb_id, old_state - 1);  in virtio_mem_sbm_plug_any_sb()
1700 	unsigned long mb_id;  in virtio_mem_sbm_plug_request()  local
1710 		virtio_mem_sbm_for_each_mb(vm, mb_id, mb_states[i]) {  in virtio_mem_sbm_plug_request()
1711 			rc = virtio_mem_sbm_plug_any_sb(vm, mb_id, &nb_sb);  in virtio_mem_sbm_plug_request()
1725 	virtio_mem_sbm_for_each_mb(vm, mb_id, VIRTIO_MEM_SBM_MB_UNUSED) {  in virtio_mem_sbm_plug_request()
1729 		rc = virtio_mem_sbm_plug_and_add_mb(vm, mb_id, &nb_sb);  in virtio_mem_sbm_plug_request()
1740 		rc = virtio_mem_sbm_prepare_next_mb(vm, &mb_id);  in virtio_mem_sbm_plug_request()
1743 		rc = virtio_mem_sbm_plug_and_add_mb(vm, mb_id, &nb_sb);  in virtio_mem_sbm_plug_request()
1871 						unsigned long mb_id,  in virtio_mem_sbm_unplug_any_sb_offline()  argument
1876 	rc = virtio_mem_sbm_unplug_any_sb_raw(vm, mb_id, nb_sb);  in virtio_mem_sbm_unplug_any_sb_offline()
1879 	if (!virtio_mem_sbm_test_sb_plugged(vm, mb_id, 0, vm->sbm.sbs_per_mb))  in virtio_mem_sbm_unplug_any_sb_offline()
1880 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_unplug_any_sb_offline()
1885 	if (virtio_mem_sbm_test_sb_unplugged(vm, mb_id, 0, vm->sbm.sbs_per_mb)) {  in virtio_mem_sbm_unplug_any_sb_offline()
1892 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_unplug_any_sb_offline()
1896 		rc = virtio_mem_sbm_remove_mb(vm, mb_id);  in virtio_mem_sbm_unplug_any_sb_offline()
1909 					   unsigned long mb_id, int sb_id,  in virtio_mem_sbm_unplug_sb_online()  argument
1913 	const int old_state = virtio_mem_sbm_get_mb_state(vm, mb_id);  in virtio_mem_sbm_unplug_sb_online()
1917 	start_pfn = PFN_DOWN(virtio_mem_mb_id_to_phys(mb_id) +  in virtio_mem_sbm_unplug_sb_online()
1925 	rc = virtio_mem_sbm_unplug_sb(vm, mb_id, sb_id, count);  in virtio_mem_sbm_unplug_sb_online()
1934 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_unplug_sb_online()
1938 		virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_unplug_sb_online()
1957 					       unsigned long mb_id,  in virtio_mem_sbm_unplug_any_sb_online()  argument
1964 	    virtio_mem_sbm_test_sb_plugged(vm, mb_id, 0, vm->sbm.sbs_per_mb)) {  in virtio_mem_sbm_unplug_any_sb_online()
1965 		rc = virtio_mem_sbm_unplug_sb_online(vm, mb_id, 0,  in virtio_mem_sbm_unplug_any_sb_online()
1978 		       !virtio_mem_sbm_test_sb_plugged(vm, mb_id, sb_id, 1))  in virtio_mem_sbm_unplug_any_sb_online()
1983 		rc = virtio_mem_sbm_unplug_sb_online(vm, mb_id, sb_id, 1);  in virtio_mem_sbm_unplug_any_sb_online()
1997 	if (virtio_mem_sbm_test_sb_unplugged(vm, mb_id, 0, vm->sbm.sbs_per_mb)) {  in virtio_mem_sbm_unplug_any_sb_online()
1999 		rc = virtio_mem_sbm_offline_and_remove_mb(vm, mb_id);  in virtio_mem_sbm_unplug_any_sb_online()
2002 			virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_sbm_unplug_any_sb_online()
2022 					unsigned long mb_id,  in virtio_mem_sbm_unplug_any_sb()  argument
2025 	const int old_state = virtio_mem_sbm_get_mb_state(vm, mb_id);  in virtio_mem_sbm_unplug_any_sb()
2032 		return virtio_mem_sbm_unplug_any_sb_online(vm, mb_id, nb_sb);  in virtio_mem_sbm_unplug_any_sb()
2035 		return virtio_mem_sbm_unplug_any_sb_offline(vm, mb_id, nb_sb);  in virtio_mem_sbm_unplug_any_sb()
2051 	unsigned long mb_id;  in virtio_mem_sbm_unplug_request()  local
2072 		virtio_mem_sbm_for_each_mb_rev(vm, mb_id, mb_states[i]) {  in virtio_mem_sbm_unplug_request()
2073 			rc = virtio_mem_sbm_unplug_any_sb(vm, mb_id, &nb_sb);  in virtio_mem_sbm_unplug_request()
2806 	unsigned long mb_id;  in virtio_mem_deinit_hotplug()  local
2828 		virtio_mem_sbm_for_each_mb(vm, mb_id,  in virtio_mem_deinit_hotplug()
2830 			rc = virtio_mem_sbm_remove_mb(vm, mb_id);  in virtio_mem_deinit_hotplug()
2832 			virtio_mem_sbm_set_mb_state(vm, mb_id,  in virtio_mem_deinit_hotplug()