12 #include <linux/pci-epc.h>
13 #include <linux/pci-epf.h>
15 #include "../../pci.h"
56 static void __dw_pcie_ep_reset_bar(struct dw_pcie *pci, u8 func_no,  in __dw_pcie_ep_reset_bar()  argument
61 	struct dw_pcie_ep *ep = &pci->ep;  in __dw_pcie_ep_reset_bar()
66 	dw_pcie_dbi_ro_wr_en(pci);  in __dw_pcie_ep_reset_bar()
67 	dw_pcie_writel_dbi2(pci, reg, 0x0);  in __dw_pcie_ep_reset_bar()
68 	dw_pcie_writel_dbi(pci, reg, 0x0);  in __dw_pcie_ep_reset_bar()
70 		dw_pcie_writel_dbi2(pci, reg + 4, 0x0);  in __dw_pcie_ep_reset_bar()
71 		dw_pcie_writel_dbi(pci, reg + 4, 0x0);  in __dw_pcie_ep_reset_bar()
73 	dw_pcie_dbi_ro_wr_dis(pci);  in __dw_pcie_ep_reset_bar()
76 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)  in dw_pcie_ep_reset_bar()  argument
80 	funcs = pci->ep.epc->max_functions;  in dw_pcie_ep_reset_bar()
83 		__dw_pcie_ep_reset_bar(pci, func_no, bar, 0);  in dw_pcie_ep_reset_bar()
89 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in __dw_pcie_ep_find_next_cap()  local
99 	reg = dw_pcie_readw_dbi(pci, func_offset + cap_ptr);  in __dw_pcie_ep_find_next_cap()
114 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_find_capability()  local
121 	reg = dw_pcie_readw_dbi(pci, func_offset + PCI_CAPABILITY_LIST);  in dw_pcie_ep_find_capability()
131 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_write_header()  local
136 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_write_header()
137 	dw_pcie_writew_dbi(pci, func_offset + PCI_VENDOR_ID, hdr->vendorid);  in dw_pcie_ep_write_header()
138 	dw_pcie_writew_dbi(pci, func_offset + PCI_DEVICE_ID, hdr->deviceid);  in dw_pcie_ep_write_header()
139 	dw_pcie_writeb_dbi(pci, func_offset + PCI_REVISION_ID, hdr->revid);  in dw_pcie_ep_write_header()
140 	dw_pcie_writeb_dbi(pci, func_offset + PCI_CLASS_PROG, hdr->progif_code);  in dw_pcie_ep_write_header()
141 	dw_pcie_writew_dbi(pci, func_offset + PCI_CLASS_DEVICE,  in dw_pcie_ep_write_header()
143 	dw_pcie_writeb_dbi(pci, func_offset + PCI_CACHE_LINE_SIZE,  in dw_pcie_ep_write_header()
145 	dw_pcie_writew_dbi(pci, func_offset + PCI_SUBSYSTEM_VENDOR_ID,  in dw_pcie_ep_write_header()
147 	dw_pcie_writew_dbi(pci, func_offset + PCI_SUBSYSTEM_ID, hdr->subsys_id);  in dw_pcie_ep_write_header()
148 	dw_pcie_writeb_dbi(pci, func_offset + PCI_INTERRUPT_PIN,  in dw_pcie_ep_write_header()
150 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_write_header()
161 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_inbound_atu()  local
165 		dev_err(pci->dev, "No free inbound window\n");  in dw_pcie_ep_inbound_atu()
169 	ret = dw_pcie_prog_inbound_atu(pci, func_no, free_win, bar, cpu_addr,  in dw_pcie_ep_inbound_atu()
172 		dev_err(pci->dev, "Failed to program IB window\n");  in dw_pcie_ep_inbound_atu()
187 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_outbound_atu()  local
191 		dev_err(pci->dev, "No free outbound window\n");  in dw_pcie_ep_outbound_atu()
195 	dw_pcie_prog_ep_outbound_atu(pci, func_no, free_win, PCIE_ATU_TYPE_MEM,  in dw_pcie_ep_outbound_atu()
208 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_clear_bar()  local
212 	__dw_pcie_ep_reset_bar(pci, func_no, bar, epf_bar->flags);  in dw_pcie_ep_clear_bar()
214 	dw_pcie_disable_atu(pci, atu_index, DW_PCIE_REGION_INBOUND);  in dw_pcie_ep_clear_bar()
224 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_bar()  local
246 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_bar()
248 	dw_pcie_writel_dbi2(pci, reg, lower_32_bits(size - 1));  in dw_pcie_ep_set_bar()
249 	dw_pcie_writel_dbi(pci, reg, flags);  in dw_pcie_ep_set_bar()
252 		dw_pcie_writel_dbi2(pci, reg + 4, upper_32_bits(size - 1));  in dw_pcie_ep_set_bar()
253 		dw_pcie_writel_dbi(pci, reg + 4, 0);  in dw_pcie_ep_set_bar()
257 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_bar()
283 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_unmap_addr()  local
289 	dw_pcie_disable_atu(pci, atu_index, DW_PCIE_REGION_OUTBOUND);  in dw_pcie_ep_unmap_addr()
299 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_map_addr()  local
303 		dev_err(pci->dev, "Failed to enable address\n");  in dw_pcie_ep_map_addr()
313 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_get_msi()  local
325 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_get_msi()
337 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_msi()  local
349 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_set_msi()
352 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_msi()
353 	dw_pcie_writew_dbi(pci, reg, val);  in dw_pcie_ep_set_msi()
354 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_msi()
362 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_get_msix()  local
374 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_get_msix()
387 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_msix()  local
396 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_msix()
401 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_set_msix()
404 	dw_pcie_writew_dbi(pci, reg, val);  in dw_pcie_ep_set_msix()
408 	dw_pcie_writel_dbi(pci, reg, val);  in dw_pcie_ep_set_msix()
412 	dw_pcie_writel_dbi(pci, reg, val);  in dw_pcie_ep_set_msix()
414 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_msix()
433 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_stop()  local
435 	if (!pci->ops->stop_link)  in dw_pcie_ep_stop()
438 	pci->ops->stop_link(pci);  in dw_pcie_ep_stop()
444 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_start()  local
446 	if (!pci->ops->start_link)  in dw_pcie_ep_start()
449 	return pci->ops->start_link(pci);  in dw_pcie_ep_start()
481 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_legacy_irq()  local
482 	struct device *dev = pci->dev;  in dw_pcie_ep_raise_legacy_irq()
492 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msi_irq()  local
509 	/* Raise MSI per the PCI Local Bus Specification Revision 3.0, 6.8.1. */  in dw_pcie_ep_raise_msi_irq()
511 	msg_ctrl = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
514 	msg_addr_lower = dw_pcie_readl_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
517 		msg_addr_upper = dw_pcie_readl_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
519 		msg_data = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
523 		msg_data = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
543 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msix_irq_doorbell()  local
554 	dw_pcie_writel_dbi(pci, PCIE_MSIX_DOORBELL, msg_data);  in dw_pcie_ep_raise_msix_irq_doorbell()
562 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msix_irq()  local
581 	tbl_offset = dw_pcie_readl_dbi(pci, reg);  in dw_pcie_ep_raise_msix_irq()
591 		dev_dbg(pci->dev, "MSI-X entry ctrl set\n");  in dw_pcie_ep_raise_msix_irq()
618 static unsigned int dw_pcie_ep_find_ext_capability(struct dw_pcie *pci, int cap)  in dw_pcie_ep_find_ext_capability()  argument
624 		header = dw_pcie_readl_dbi(pci, pos);  in dw_pcie_ep_find_ext_capability()
638 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_init_complete()  local
645 	hdr_type = dw_pcie_readb_dbi(pci, PCI_HEADER_TYPE) &  in dw_pcie_ep_init_complete()
648 		dev_err(pci->dev,  in dw_pcie_ep_init_complete()
654 	offset = dw_pcie_ep_find_ext_capability(pci, PCI_EXT_CAP_ID_REBAR);  in dw_pcie_ep_init_complete()
656 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_init_complete()
659 		reg = dw_pcie_readl_dbi(pci, offset + PCI_REBAR_CTRL);  in dw_pcie_ep_init_complete()
664 			dw_pcie_writel_dbi(pci, offset + PCI_REBAR_CAP, 0x0);  in dw_pcie_ep_init_complete()
667 	dw_pcie_setup(pci);  in dw_pcie_ep_init_complete()
668 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_init_complete()
680 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_init()  local
681 	struct device *dev = pci->dev;  in dw_pcie_ep_init()
688 	if (!pci->dbi_base || !pci->dbi_base2) {  in dw_pcie_ep_init()
733 	if (pci->link_gen < 1)  in dw_pcie_ep_init()
734 		pci->link_gen = of_pci_get_max_link_speed(np);  in dw_pcie_ep_init()