3 // Cadence PCIe endpoint controller driver.
13 #include "pcie-cadence.h"
19 static u8 cdns_pcie_get_fn_from_vfn(struct cdns_pcie *pcie, u8 fn, u8 vfn)  in cdns_pcie_get_fn_from_vfn()  argument
27 	first_vf_offset = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_SRIOV_VF_OFFSET);  in cdns_pcie_get_fn_from_vfn()
28 	stride = cdns_pcie_ep_fn_readw(pcie, fn, cap +  PCI_SRIOV_VF_STRIDE);  in cdns_pcie_get_fn_from_vfn()
39 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_write_header()  local
47 		cdns_pcie_ep_fn_writew(pcie, fn, reg, hdr->deviceid);  in cdns_pcie_ep_write_header()
51 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_DEVICE_ID, hdr->deviceid);  in cdns_pcie_ep_write_header()
52 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_REVISION_ID, hdr->revid);  in cdns_pcie_ep_write_header()
53 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_CLASS_PROG, hdr->progif_code);  in cdns_pcie_ep_write_header()
54 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_CLASS_DEVICE,  in cdns_pcie_ep_write_header()
56 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_CACHE_LINE_SIZE,  in cdns_pcie_ep_write_header()
58 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_SUBSYSTEM_ID, hdr->subsys_id);  in cdns_pcie_ep_write_header()
59 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_INTERRUPT_PIN, hdr->interrupt_pin);  in cdns_pcie_ep_write_header()
70 		cdns_pcie_writel(pcie, CDNS_PCIE_LM_ID, id);  in cdns_pcie_ep_write_header()
81 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_bar()  local
129 		cfg = cdns_pcie_readl(pcie, reg);  in cdns_pcie_ep_set_bar()
134 		cdns_pcie_writel(pcie, reg, cfg);  in cdns_pcie_ep_set_bar()
137 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_set_bar()
138 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR0(fn, bar),  in cdns_pcie_ep_set_bar()
140 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR1(fn, bar),  in cdns_pcie_ep_set_bar()
155 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_clear_bar()  local
167 		cfg = cdns_pcie_readl(pcie, reg);  in cdns_pcie_ep_clear_bar()
171 		cdns_pcie_writel(pcie, reg, cfg);  in cdns_pcie_ep_clear_bar()
174 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_clear_bar()
175 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR0(fn, bar), 0);  in cdns_pcie_ep_clear_bar()
176 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR1(fn, bar), 0);  in cdns_pcie_ep_clear_bar()
187 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_map_addr()  local
197 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_map_addr()
198 	cdns_pcie_set_outbound_region(pcie, 0, fn, r, false, addr, pci_addr, size);  in cdns_pcie_ep_map_addr()
210 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_unmap_addr()  local
220 	cdns_pcie_reset_outbound_region(pcie, r);  in cdns_pcie_ep_unmap_addr()
229 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_msi()  local
233 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_set_msi()
239 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_set_msi()
243 	cdns_pcie_ep_fn_writew(pcie, fn, cap + PCI_MSI_FLAGS, flags);  in cdns_pcie_ep_set_msi()
251 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_get_msi()  local
255 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_get_msi()
258 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_get_msi()
274 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_get_msix()  local
278 	func_no = cdns_pcie_get_fn_from_vfn(pcie, func_no, vfunc_no);  in cdns_pcie_ep_get_msix()
281 	val = cdns_pcie_ep_fn_readw(pcie, func_no, reg);  in cdns_pcie_ep_get_msix()
295 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_msix()  local
299 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_set_msix()
302 	val = cdns_pcie_ep_fn_readw(pcie, fn, reg);  in cdns_pcie_ep_set_msix()
305 	cdns_pcie_ep_fn_writew(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
310 	cdns_pcie_ep_fn_writel(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
315 	cdns_pcie_ep_fn_writel(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
323 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_assert_intx()  local
335 		cdns_pcie_set_outbound_region_for_normal_msg(pcie, 0, fn, 0,  in cdns_pcie_ep_assert_intx()
350 	status = cdns_pcie_ep_fn_readw(pcie, fn, PCI_STATUS);  in cdns_pcie_ep_assert_intx()
353 		cdns_pcie_ep_fn_writew(pcie, fn, PCI_STATUS, status);  in cdns_pcie_ep_assert_intx()
368 	cmd = cdns_pcie_ep_fn_readw(&ep->pcie, fn, PCI_COMMAND);  in cdns_pcie_ep_send_legacy_irq()
384 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_send_msi_irq()  local
390 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_send_msi_irq()
393 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_send_msi_irq()
405 	data = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_DATA_64);  in cdns_pcie_ep_send_msi_irq()
409 	pci_addr = cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_HI);  in cdns_pcie_ep_send_msi_irq()
411 	pci_addr |= cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_LO);  in cdns_pcie_ep_send_msi_irq()
418 		cdns_pcie_set_outbound_region(pcie, 0, fn, 0,  in cdns_pcie_ep_send_msi_irq()
438 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_map_msi_irq()  local
445 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_map_msi_irq()
448 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_map_msi_irq()
460 	data = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_DATA_64);  in cdns_pcie_ep_map_msi_irq()
464 	pci_addr = cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_HI);  in cdns_pcie_ep_map_msi_irq()
466 	pci_addr |= cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_LO);  in cdns_pcie_ep_map_msi_irq()
489 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_send_msix_irq()  local
501 	fn = cdns_pcie_get_fn_from_vfn(pcie, fn, vfn);  in cdns_pcie_ep_send_msix_irq()
504 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSIX_FLAGS);  in cdns_pcie_ep_send_msix_irq()
509 	tbl_offset = cdns_pcie_ep_fn_readl(pcie, fn, reg);  in cdns_pcie_ep_send_msix_irq()
521 		cdns_pcie_set_outbound_region(pcie, 0, fn, 0,  in cdns_pcie_ep_send_msix_irq()
539 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_raise_irq()  local
540 	struct device *dev = pcie->dev;  in cdns_pcie_ep_raise_irq()
566 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_start()  local
567 	struct device *dev = pcie->dev;  in cdns_pcie_ep_start()
574 	cdns_pcie_writel(pcie, CDNS_PCIE_LM_EP_FUNC_CFG, epc->function_num_map);  in cdns_pcie_ep_start()
576 	ret = cdns_pcie_start_link(pcie);  in cdns_pcie_ep_start()
627 	struct device *dev = ep->pcie.dev;  in cdns_pcie_ep_setup()
630 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_setup()  local
637 	pcie->is_rc = false;  in cdns_pcie_ep_setup()
639 	pcie->reg_base = devm_platform_ioremap_resource_byname(pdev, "reg");  in cdns_pcie_ep_setup()
640 	if (IS_ERR(pcie->reg_base)) {  in cdns_pcie_ep_setup()
642 		return PTR_ERR(pcie->reg_base);  in cdns_pcie_ep_setup()
650 	pcie->mem_res = res;  in cdns_pcie_ep_setup()
662 	cdns_pcie_writel(pcie, CDNS_PCIE_LM_EP_FUNC_CFG, BIT(0));  in cdns_pcie_ep_setup()
699 	ret = pci_epc_mem_init(epc, pcie->mem_res->start,  in cdns_pcie_ep_setup()
700 			       resource_size(pcie->mem_res), PAGE_SIZE);  in cdns_pcie_ep_setup()
718 		cdns_pcie_detect_quiet_min_delay_set(&ep->pcie);  in cdns_pcie_ep_setup()