56 irqreturn_t dw_handle_msi_irq(struct dw_pcie_rp *pp)  in dw_handle_msi_irq()  argument
62 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_handle_msi_irq()
64 	num_ctrls = pp->num_vectors / MAX_MSI_IRQS_PER_CTRL;  in dw_handle_msi_irq()
77 			generic_handle_domain_irq(pp->irq_domain,  in dw_handle_msi_irq()
91 	struct dw_pcie_rp *pp;  in dw_chained_msi_isr()  local
95 	pp = irq_desc_get_handler_data(desc);  in dw_chained_msi_isr()
96 	dw_handle_msi_irq(pp);  in dw_chained_msi_isr()
103 	struct dw_pcie_rp *pp = irq_data_get_irq_chip_data(d);  in dw_pci_setup_msi_msg()  local
104 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_setup_msi_msg()
107 	msi_target = (u64)pp->msi_data;  in dw_pci_setup_msi_msg()
126 	struct dw_pcie_rp *pp = irq_data_get_irq_chip_data(d);  in dw_pci_bottom_mask()  local
127 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_mask()
131 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pci_bottom_mask()
137 	pp->irq_mask[ctrl] |= BIT(bit);  in dw_pci_bottom_mask()
138 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_mask()
140 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pci_bottom_mask()
145 	struct dw_pcie_rp *pp = irq_data_get_irq_chip_data(d);  in dw_pci_bottom_unmask()  local
146 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_unmask()
150 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pci_bottom_unmask()
156 	pp->irq_mask[ctrl] &= ~BIT(bit);  in dw_pci_bottom_unmask()
157 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_unmask()
159 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pci_bottom_unmask()
164 	struct dw_pcie_rp *pp  = irq_data_get_irq_chip_data(d);  in dw_pci_bottom_ack()  local
165 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_ack()
188 	struct dw_pcie_rp *pp = domain->host_data;  in dw_pcie_irq_domain_alloc()  local
193 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pcie_irq_domain_alloc()
195 	bit = bitmap_find_free_region(pp->msi_irq_in_use, pp->num_vectors,  in dw_pcie_irq_domain_alloc()
198 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pcie_irq_domain_alloc()
205 				    pp->msi_irq_chip,  in dw_pcie_irq_domain_alloc()
206 				    pp, handle_edge_irq,  in dw_pcie_irq_domain_alloc()
216 	struct dw_pcie_rp *pp = domain->host_data;  in dw_pcie_irq_domain_free()  local
219 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pcie_irq_domain_free()
221 	bitmap_release_region(pp->msi_irq_in_use, d->hwirq,  in dw_pcie_irq_domain_free()
224 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pcie_irq_domain_free()
232 int dw_pcie_allocate_domains(struct dw_pcie_rp *pp)  in dw_pcie_allocate_domains()  argument
234 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_allocate_domains()
237 	pp->irq_domain = irq_domain_create_linear(fwnode, pp->num_vectors,  in dw_pcie_allocate_domains()
238 					       &dw_pcie_msi_domain_ops, pp);  in dw_pcie_allocate_domains()
239 	if (!pp->irq_domain) {  in dw_pcie_allocate_domains()
244 	irq_domain_update_bus_token(pp->irq_domain, DOMAIN_BUS_NEXUS);  in dw_pcie_allocate_domains()
246 	pp->msi_domain = pci_msi_create_irq_domain(fwnode,  in dw_pcie_allocate_domains()
248 						   pp->irq_domain);  in dw_pcie_allocate_domains()
249 	if (!pp->msi_domain) {  in dw_pcie_allocate_domains()
251 		irq_domain_remove(pp->irq_domain);  in dw_pcie_allocate_domains()
258 static void dw_pcie_free_msi(struct dw_pcie_rp *pp)  in dw_pcie_free_msi()  argument
263 		if (pp->msi_irq[ctrl] > 0)  in dw_pcie_free_msi()
264 			irq_set_chained_handler_and_data(pp->msi_irq[ctrl],  in dw_pcie_free_msi()
268 	irq_domain_remove(pp->msi_domain);  in dw_pcie_free_msi()
269 	irq_domain_remove(pp->irq_domain);  in dw_pcie_free_msi()
272 static void dw_pcie_msi_init(struct dw_pcie_rp *pp)  in dw_pcie_msi_init()  argument
274 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_msi_init()
275 	u64 msi_target = (u64)pp->msi_data;  in dw_pcie_msi_init()
277 	if (!pci_msi_enabled() || !pp->has_msi_ctrl)  in dw_pcie_msi_init()
285 static int dw_pcie_parse_split_msi_irq(struct dw_pcie_rp *pp)  in dw_pcie_parse_split_msi_irq()  argument
287 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_parse_split_msi_irq()
306 		pp->msi_irq[ctrl] = irq;  in dw_pcie_parse_split_msi_irq()
314 	if (pp->num_vectors > max_vectors) {  in dw_pcie_parse_split_msi_irq()
317 		pp->num_vectors = max_vectors;  in dw_pcie_parse_split_msi_irq()
319 	if (!pp->num_vectors)  in dw_pcie_parse_split_msi_irq()
320 		pp->num_vectors = max_vectors;  in dw_pcie_parse_split_msi_irq()
325 static int dw_pcie_msi_host_init(struct dw_pcie_rp *pp)  in dw_pcie_msi_host_init()  argument
327 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_msi_host_init()
335 		pp->irq_mask[ctrl] = ~0;  in dw_pcie_msi_host_init()
337 	if (!pp->msi_irq[0]) {  in dw_pcie_msi_host_init()
338 		ret = dw_pcie_parse_split_msi_irq(pp);  in dw_pcie_msi_host_init()
343 	if (!pp->num_vectors)  in dw_pcie_msi_host_init()
344 		pp->num_vectors = MSI_DEF_NUM_VECTORS;  in dw_pcie_msi_host_init()
345 	num_ctrls = pp->num_vectors / MAX_MSI_IRQS_PER_CTRL;  in dw_pcie_msi_host_init()
347 	if (!pp->msi_irq[0]) {  in dw_pcie_msi_host_init()
348 		pp->msi_irq[0] = platform_get_irq_byname_optional(pdev, "msi");  in dw_pcie_msi_host_init()
349 		if (pp->msi_irq[0] < 0) {  in dw_pcie_msi_host_init()
350 			pp->msi_irq[0] = platform_get_irq(pdev, 0);  in dw_pcie_msi_host_init()
351 			if (pp->msi_irq[0] < 0)  in dw_pcie_msi_host_init()
352 				return pp->msi_irq[0];  in dw_pcie_msi_host_init()
356 	dev_dbg(dev, "Using %d MSI vectors\n", pp->num_vectors);  in dw_pcie_msi_host_init()
358 	pp->msi_irq_chip = &dw_pci_msi_bottom_irq_chip;  in dw_pcie_msi_host_init()
360 	ret = dw_pcie_allocate_domains(pp);  in dw_pcie_msi_host_init()
365 		if (pp->msi_irq[ctrl] > 0)  in dw_pcie_msi_host_init()
366 			irq_set_chained_handler_and_data(pp->msi_irq[ctrl],  in dw_pcie_msi_host_init()
367 						    dw_chained_msi_isr, pp);  in dw_pcie_msi_host_init()
374 	msi_vaddr = dmam_alloc_coherent(dev, sizeof(u64), &pp->msi_data,  in dw_pcie_msi_host_init()
378 		dw_pcie_free_msi(pp);  in dw_pcie_msi_host_init()
385 int dw_pcie_host_init(struct dw_pcie_rp *pp)  in dw_pcie_host_init()  argument
387 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_host_init()
396 	raw_spin_lock_init(&pp->lock);  in dw_pcie_host_init()
400 		pp->cfg0_size = resource_size(res);  in dw_pcie_host_init()
401 		pp->cfg0_base = res->start;  in dw_pcie_host_init()
403 		pp->va_cfg0_base = devm_pci_remap_cfg_resource(dev, res);  in dw_pcie_host_init()
404 		if (IS_ERR(pp->va_cfg0_base))  in dw_pcie_host_init()
405 			return PTR_ERR(pp->va_cfg0_base);  in dw_pcie_host_init()
422 	pp->bridge = bridge;  in dw_pcie_host_init()
427 		pp->io_size = resource_size(win->res);  in dw_pcie_host_init()
428 		pp->io_bus_addr = win->res->start - win->offset;  in dw_pcie_host_init()
429 		pp->io_base = pci_pio_to_address(win->res->start);  in dw_pcie_host_init()
439 	if (pp->ops->host_init) {  in dw_pcie_host_init()
440 		ret = pp->ops->host_init(pp);  in dw_pcie_host_init()
446 		pp->has_msi_ctrl = !(pp->ops->msi_host_init ||  in dw_pcie_host_init()
454 		if (!pp->has_msi_ctrl && !pp->num_vectors) {  in dw_pcie_host_init()
455 			pp->num_vectors = MSI_DEF_NUM_VECTORS;  in dw_pcie_host_init()
456 		} else if (pp->num_vectors > MAX_MSI_IRQS) {  in dw_pcie_host_init()
462 		if (pp->ops->msi_host_init) {  in dw_pcie_host_init()
463 			ret = pp->ops->msi_host_init(pp);  in dw_pcie_host_init()
466 		} else if (pp->has_msi_ctrl) {  in dw_pcie_host_init()
467 			ret = dw_pcie_msi_host_init(pp);  in dw_pcie_host_init()
477 	ret = dw_pcie_setup_rc(pp);  in dw_pcie_host_init()
490 	bridge->sysdata = pp;  in dw_pcie_host_init()
502 	if (pp->has_msi_ctrl)  in dw_pcie_host_init()
503 		dw_pcie_free_msi(pp);  in dw_pcie_host_init()
506 	if (pp->ops->host_deinit)  in dw_pcie_host_init()
507 		pp->ops->host_deinit(pp);  in dw_pcie_host_init()
513 void dw_pcie_host_deinit(struct dw_pcie_rp *pp)  in dw_pcie_host_deinit()  argument
515 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_host_deinit()
517 	pci_stop_root_bus(pp->bridge->bus);  in dw_pcie_host_deinit()
518 	pci_remove_root_bus(pp->bridge->bus);  in dw_pcie_host_deinit()
522 	if (pp->has_msi_ctrl)  in dw_pcie_host_deinit()
523 		dw_pcie_free_msi(pp);  in dw_pcie_host_deinit()
525 	if (pp->ops->host_deinit)  in dw_pcie_host_deinit()
526 		pp->ops->host_deinit(pp);  in dw_pcie_host_deinit()
533 	struct dw_pcie_rp *pp = bus->sysdata;  in dw_pcie_other_conf_map_bus()  local
534 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_other_conf_map_bus()
557 	ret = dw_pcie_prog_outbound_atu(pci, 0, type, pp->cfg0_base, busdev,  in dw_pcie_other_conf_map_bus()
558 					pp->cfg0_size);  in dw_pcie_other_conf_map_bus()
562 	return pp->va_cfg0_base + where;  in dw_pcie_other_conf_map_bus()
568 	struct dw_pcie_rp *pp = bus->sysdata;  in dw_pcie_rd_other_conf()  local
569 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_rd_other_conf()
576 	if (pp->cfg0_io_shared) {  in dw_pcie_rd_other_conf()
578 						pp->io_base, pp->io_bus_addr,  in dw_pcie_rd_other_conf()
579 						pp->io_size);  in dw_pcie_rd_other_conf()
590 	struct dw_pcie_rp *pp = bus->sysdata;  in dw_pcie_wr_other_conf()  local
591 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_wr_other_conf()
598 	if (pp->cfg0_io_shared) {  in dw_pcie_wr_other_conf()
600 						pp->io_base, pp->io_bus_addr,  in dw_pcie_wr_other_conf()
601 						pp->io_size);  in dw_pcie_wr_other_conf()
617 	struct dw_pcie_rp *pp = bus->sysdata;  in dw_pcie_own_conf_map_bus()  local
618 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_own_conf_map_bus()
633 static int dw_pcie_iatu_setup(struct dw_pcie_rp *pp)  in dw_pcie_iatu_setup()  argument
635 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_iatu_setup()
653 	resource_list_for_each_entry(entry, &pp->bridge->windows) {  in dw_pcie_iatu_setup()
671 	if (pp->io_size) {  in dw_pcie_iatu_setup()
674 							pp->io_base,  in dw_pcie_iatu_setup()
675 							pp->io_bus_addr,  in dw_pcie_iatu_setup()
676 							pp->io_size);  in dw_pcie_iatu_setup()
683 			pp->cfg0_io_shared = true;  in dw_pcie_iatu_setup()
694 int dw_pcie_setup_rc(struct dw_pcie_rp *pp)  in dw_pcie_setup_rc()  argument
696 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_setup_rc()
708 	if (pp->has_msi_ctrl) {  in dw_pcie_setup_rc()
709 		num_ctrls = pp->num_vectors / MAX_MSI_IRQS_PER_CTRL;  in dw_pcie_setup_rc()
715 					    pp->irq_mask[ctrl]);  in dw_pcie_setup_rc()
722 	dw_pcie_msi_init(pp);  in dw_pcie_setup_rc()
752 	if (pp->bridge->child_ops == &dw_child_pcie_ops) {  in dw_pcie_setup_rc()
753 		ret = dw_pcie_iatu_setup(pp);  in dw_pcie_setup_rc()