401 	struct iproc_pcie *pcie = bus->sysdata;  in iproc_data()  local
402 	return pcie;  in iproc_data()
410 static inline u16 iproc_pcie_reg_offset(struct iproc_pcie *pcie,  in iproc_pcie_reg_offset()  argument
413 	return pcie->reg_offsets[reg];  in iproc_pcie_reg_offset()
416 static inline u32 iproc_pcie_read_reg(struct iproc_pcie *pcie,  in iproc_pcie_read_reg()  argument
419 	u16 offset = iproc_pcie_reg_offset(pcie, reg);  in iproc_pcie_read_reg()
424 	return readl(pcie->base + offset);  in iproc_pcie_read_reg()
427 static inline void iproc_pcie_write_reg(struct iproc_pcie *pcie,  in iproc_pcie_write_reg()  argument
430 	u16 offset = iproc_pcie_reg_offset(pcie, reg);  in iproc_pcie_write_reg()
435 	writel(val, pcie->base + offset);  in iproc_pcie_write_reg()
447 	struct iproc_pcie *pcie = iproc_data(bus);  in iproc_pcie_apb_err_disable()  local
450 	if (bus->number && pcie->has_apb_err_disable) {  in iproc_pcie_apb_err_disable()
451 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_APB_ERR_EN);  in iproc_pcie_apb_err_disable()
456 		iproc_pcie_write_reg(pcie, IPROC_PCIE_APB_ERR_EN, val);  in iproc_pcie_apb_err_disable()
460 static void __iomem *iproc_pcie_map_ep_cfg_reg(struct iproc_pcie *pcie,  in iproc_pcie_map_ep_cfg_reg()  argument
476 	iproc_pcie_write_reg(pcie, IPROC_PCIE_CFG_ADDR, val);  in iproc_pcie_map_ep_cfg_reg()
477 	offset = iproc_pcie_reg_offset(pcie, IPROC_PCIE_CFG_DATA);  in iproc_pcie_map_ep_cfg_reg()
482 	return (pcie->base + offset);  in iproc_pcie_map_ep_cfg_reg()
485 static unsigned int iproc_pcie_cfg_retry(struct iproc_pcie *pcie,  in iproc_pcie_cfg_retry()  argument
516 		status = iproc_pcie_read_reg(pcie, IPROC_PCIE_CFG_RD_STATUS);  in iproc_pcie_cfg_retry()
530 static void iproc_pcie_fix_cap(struct iproc_pcie *pcie, int where, u32 *val)  in iproc_pcie_fix_cap()  argument
544 				pcie->fix_paxc_cap = true;  in iproc_pcie_fix_cap()
548 		if (pcie->fix_paxc_cap) {  in iproc_pcie_fix_cap()
556 		if (pcie->fix_paxc_cap) {  in iproc_pcie_fix_cap()
576 	struct iproc_pcie *pcie = iproc_data(bus);  in iproc_pcie_config_read()  local
588 			iproc_pcie_fix_cap(pcie, where, val);  in iproc_pcie_config_read()
593 	cfg_data_p = iproc_pcie_map_ep_cfg_reg(pcie, busno, slot, fn, where);  in iproc_pcie_config_read()
598 	data = iproc_pcie_cfg_retry(pcie, cfg_data_p);  in iproc_pcie_config_read()
617 	if (pcie->rej_unconfig_pf &&  in iproc_pcie_config_read()
630 static void __iomem *iproc_pcie_map_cfg_bus(struct iproc_pcie *pcie,  in iproc_pcie_map_cfg_bus()  argument
643 		iproc_pcie_write_reg(pcie, IPROC_PCIE_CFG_IND_ADDR,  in iproc_pcie_map_cfg_bus()
645 		offset = iproc_pcie_reg_offset(pcie, IPROC_PCIE_CFG_IND_DATA);  in iproc_pcie_map_cfg_bus()
649 			return (pcie->base + offset);  in iproc_pcie_map_cfg_bus()
652 	return iproc_pcie_map_ep_cfg_reg(pcie, busno, slot, fn, where);  in iproc_pcie_map_cfg_bus()
663 static int iproc_pci_raw_config_read32(struct iproc_pcie *pcie,  in iproc_pci_raw_config_read32()  argument
669 	addr = iproc_pcie_map_cfg_bus(pcie, 0, devfn, where & ~0x3);  in iproc_pci_raw_config_read32()
683 static int iproc_pci_raw_config_write32(struct iproc_pcie *pcie,  in iproc_pci_raw_config_write32()  argument
690 	addr = iproc_pcie_map_cfg_bus(pcie, 0, devfn, where & ~0x3);  in iproc_pci_raw_config_write32()
711 	struct iproc_pcie *pcie = iproc_data(bus);  in iproc_pcie_config_read32()  local
714 	if (pcie->iproc_cfg_read)  in iproc_pcie_config_read32()
741 static void iproc_pcie_perst_ctrl(struct iproc_pcie *pcie, bool assert)  in iproc_pcie_perst_ctrl()  argument
750 	if (pcie->ep_is_internal)  in iproc_pcie_perst_ctrl()
754 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_CLK_CTRL);  in iproc_pcie_perst_ctrl()
757 		iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);  in iproc_pcie_perst_ctrl()
760 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_CLK_CTRL);  in iproc_pcie_perst_ctrl()
762 		iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);  in iproc_pcie_perst_ctrl()
767 int iproc_pcie_shutdown(struct iproc_pcie *pcie)  in iproc_pcie_shutdown()  argument
769 	iproc_pcie_perst_ctrl(pcie, true);  in iproc_pcie_shutdown()
776 static int iproc_pcie_check_link(struct iproc_pcie *pcie)  in iproc_pcie_check_link()  argument
778 	struct device *dev = pcie->dev;  in iproc_pcie_check_link()
786 	if (pcie->ep_is_internal)  in iproc_pcie_check_link()
789 	val = iproc_pcie_read_reg(pcie, IPROC_PCIE_LINK_STATUS);  in iproc_pcie_check_link()
796 	iproc_pci_raw_config_read32(pcie, 0, PCI_HEADER_TYPE, 1, &hdr_type);  in iproc_pcie_check_link()
806 	iproc_pci_raw_config_read32(pcie, 0, PCI_BRIDGE_CTRL_REG_OFFSET,  in iproc_pcie_check_link()
810 	iproc_pci_raw_config_write32(pcie, 0, PCI_BRIDGE_CTRL_REG_OFFSET,  in iproc_pcie_check_link()
814 	iproc_pci_raw_config_read32(pcie, 0, IPROC_PCI_EXP_CAP + PCI_EXP_LNKSTA,  in iproc_pcie_check_link()
824 		iproc_pci_raw_config_read32(pcie, 0,  in iproc_pcie_check_link()
831 			iproc_pci_raw_config_write32(pcie, 0,  in iproc_pcie_check_link()
836 			iproc_pci_raw_config_read32(pcie, 0,  in iproc_pcie_check_link()
849 static void iproc_pcie_enable(struct iproc_pcie *pcie)  in iproc_pcie_enable()  argument
851 	iproc_pcie_write_reg(pcie, IPROC_PCIE_INTX_EN, SYS_RC_INTX_MASK);  in iproc_pcie_enable()
854 static inline bool iproc_pcie_ob_is_valid(struct iproc_pcie *pcie,  in iproc_pcie_ob_is_valid()  argument
859 	val = iproc_pcie_read_reg(pcie, MAP_REG(IPROC_PCIE_OARR0, window_idx));  in iproc_pcie_ob_is_valid()
864 static inline int iproc_pcie_ob_write(struct iproc_pcie *pcie, int window_idx,  in iproc_pcie_ob_write()  argument
867 	struct device *dev = pcie->dev;  in iproc_pcie_ob_write()
874 	oarr_offset = iproc_pcie_reg_offset(pcie, MAP_REG(IPROC_PCIE_OARR0,  in iproc_pcie_ob_write()
876 	omap_offset = iproc_pcie_reg_offset(pcie, MAP_REG(IPROC_PCIE_OMAP0,  in iproc_pcie_ob_write()
887 	       OARR_VALID, pcie->base + oarr_offset);  in iproc_pcie_ob_write()
888 	writel(upper_32_bits(axi_addr), pcie->base + oarr_offset + 4);  in iproc_pcie_ob_write()
891 	writel(lower_32_bits(pci_addr), pcie->base + omap_offset);  in iproc_pcie_ob_write()
892 	writel(upper_32_bits(pci_addr), pcie->base + omap_offset + 4);  in iproc_pcie_ob_write()
897 		readl(pcie->base + oarr_offset),  in iproc_pcie_ob_write()
898 		readl(pcie->base + oarr_offset + 4));  in iproc_pcie_ob_write()
900 		readl(pcie->base + omap_offset),  in iproc_pcie_ob_write()
901 		readl(pcie->base + omap_offset + 4));  in iproc_pcie_ob_write()
917 static int iproc_pcie_setup_ob(struct iproc_pcie *pcie, u64 axi_addr,  in iproc_pcie_setup_ob()  argument
920 	struct iproc_pcie_ob *ob = &pcie->ob;  in iproc_pcie_setup_ob()
921 	struct device *dev = pcie->dev;  in iproc_pcie_setup_ob()
939 			&pcie->ob_map[window_idx];  in iproc_pcie_setup_ob()
945 		if (iproc_pcie_ob_is_valid(pcie, window_idx))  in iproc_pcie_setup_ob()
990 			ret = iproc_pcie_ob_write(pcie, window_idx, size_idx,  in iproc_pcie_setup_ob()
1019 static int iproc_pcie_map_ranges(struct iproc_pcie *pcie,  in iproc_pcie_map_ranges()  argument
1022 	struct device *dev = pcie->dev;  in iproc_pcie_map_ranges()
1035 			ret = iproc_pcie_setup_ob(pcie, res->start,  in iproc_pcie_map_ranges()
1050 static inline bool iproc_pcie_ib_is_in_use(struct iproc_pcie *pcie,  in iproc_pcie_ib_is_in_use()  argument
1053 	const struct iproc_pcie_ib_map *ib_map = &pcie->ib_map[region_idx];  in iproc_pcie_ib_is_in_use()
1056 	val = iproc_pcie_read_reg(pcie, MAP_REG(IPROC_PCIE_IARR0, region_idx));  in iproc_pcie_ib_is_in_use()
1067 static int iproc_pcie_ib_write(struct iproc_pcie *pcie, int region_idx,  in iproc_pcie_ib_write()  argument
1071 	struct device *dev = pcie->dev;  in iproc_pcie_ib_write()
1072 	const struct iproc_pcie_ib_map *ib_map = &pcie->ib_map[region_idx];  in iproc_pcie_ib_write()
1077 	iarr_offset = iproc_pcie_reg_offset(pcie,  in iproc_pcie_ib_write()
1079 	imap_offset = iproc_pcie_reg_offset(pcie,  in iproc_pcie_ib_write()
1093 	       pcie->base + iarr_offset);  in iproc_pcie_ib_write()
1094 	writel(upper_32_bits(pci_addr), pcie->base + iarr_offset + 4);  in iproc_pcie_ib_write()
1097 		readl(pcie->base + iarr_offset),  in iproc_pcie_ib_write()
1098 		readl(pcie->base + iarr_offset + 4));  in iproc_pcie_ib_write()
1106 		val = readl(pcie->base + imap_offset);  in iproc_pcie_ib_write()
1108 		writel(val, pcie->base + imap_offset);  in iproc_pcie_ib_write()
1110 		       pcie->base + imap_offset + ib_map->imap_addr_offset);  in iproc_pcie_ib_write()
1113 			window_idx, readl(pcie->base + imap_offset),  in iproc_pcie_ib_write()
1114 			readl(pcie->base + imap_offset +  in iproc_pcie_ib_write()
1124 static int iproc_pcie_setup_ib(struct iproc_pcie *pcie,  in iproc_pcie_setup_ib()  argument
1128 	struct device *dev = pcie->dev;  in iproc_pcie_setup_ib()
1129 	struct iproc_pcie_ib *ib = &pcie->ib;  in iproc_pcie_setup_ib()
1138 			&pcie->ib_map[region_idx];  in iproc_pcie_setup_ib()
1144 		if (iproc_pcie_ib_is_in_use(pcie, region_idx) ||  in iproc_pcie_setup_ib()
1165 			ret = iproc_pcie_ib_write(pcie, region_idx, size_idx,  in iproc_pcie_setup_ib()
1215 static int iproc_pcie_map_dma_ranges(struct iproc_pcie *pcie)  in iproc_pcie_map_dma_ranges()  argument
1217 	struct pci_host_bridge *host = pci_host_bridge_from_priv(pcie);  in iproc_pcie_map_dma_ranges()
1224 	ret = of_pci_dma_range_parser_init(&parser, pcie->dev->of_node);  in iproc_pcie_map_dma_ranges()
1229 		ret = iproc_pcie_add_dma_range(pcie->dev,  in iproc_pcie_map_dma_ranges()
1235 		ret = iproc_pcie_setup_ib(pcie, &range, IPROC_PCIE_IB_MAP_MEM);  in iproc_pcie_map_dma_ranges()
1248 static int iproce_pcie_get_msi(struct iproc_pcie *pcie,  in iproce_pcie_get_msi()  argument
1252 	struct device *dev = pcie->dev;  in iproce_pcie_get_msi()
1276 static int iproc_pcie_paxb_v2_msi_steer(struct iproc_pcie *pcie, u64 msi_addr)  in iproc_pcie_paxb_v2_msi_steer()  argument
1285 	ret = iproc_pcie_setup_ib(pcie, &range, IPROC_PCIE_IB_MAP_IO);  in iproc_pcie_paxb_v2_msi_steer()
1289 static void iproc_pcie_paxc_v2_msi_steer(struct iproc_pcie *pcie, u64 msi_addr,  in iproc_pcie_paxc_v2_msi_steer()  argument
1299 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_MSI_EN_CFG);  in iproc_pcie_paxc_v2_msi_steer()
1301 		iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_EN_CFG, val);  in iproc_pcie_paxc_v2_msi_steer()
1311 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_BASE_ADDR,  in iproc_pcie_paxc_v2_msi_steer()
1315 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_WINDOW_SIZE, 0);  in iproc_pcie_paxc_v2_msi_steer()
1318 	val = iproc_pcie_read_reg(pcie, IPROC_PCIE_MSI_GIC_MODE);  in iproc_pcie_paxc_v2_msi_steer()
1320 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_GIC_MODE, val);  in iproc_pcie_paxc_v2_msi_steer()
1327 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_ADDR_HI,  in iproc_pcie_paxc_v2_msi_steer()
1329 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_ADDR_LO,  in iproc_pcie_paxc_v2_msi_steer()
1333 	val = iproc_pcie_read_reg(pcie, IPROC_PCIE_MSI_EN_CFG);  in iproc_pcie_paxc_v2_msi_steer()
1335 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_EN_CFG, val);  in iproc_pcie_paxc_v2_msi_steer()
1338 static int iproc_pcie_msi_steer(struct iproc_pcie *pcie,  in iproc_pcie_msi_steer()  argument
1341 	struct device *dev = pcie->dev;  in iproc_pcie_msi_steer()
1345 	ret = iproce_pcie_get_msi(pcie, msi_node, &msi_addr);  in iproc_pcie_msi_steer()
1351 	switch (pcie->type) {  in iproc_pcie_msi_steer()
1353 		ret = iproc_pcie_paxb_v2_msi_steer(pcie, msi_addr);  in iproc_pcie_msi_steer()
1358 		iproc_pcie_paxc_v2_msi_steer(pcie, msi_addr, true);  in iproc_pcie_msi_steer()
1367 static int iproc_pcie_msi_enable(struct iproc_pcie *pcie)  in iproc_pcie_msi_enable()  argument
1377 	msi_node = of_parse_phandle(pcie->dev->of_node, "msi-parent", 0);  in iproc_pcie_msi_enable()
1383 		msi_map = of_get_property(pcie->dev->of_node, "msi-map", &len);  in iproc_pcie_msi_enable()
1398 	if (pcie->need_msi_steer) {  in iproc_pcie_msi_enable()
1399 		ret = iproc_pcie_msi_steer(pcie, msi_node);  in iproc_pcie_msi_enable()
1408 	ret = iproc_msi_init(pcie, msi_node);  in iproc_pcie_msi_enable()
1415 static void iproc_pcie_msi_disable(struct iproc_pcie *pcie)  in iproc_pcie_msi_disable()  argument
1417 	iproc_msi_exit(pcie);  in iproc_pcie_msi_disable()
1420 static int iproc_pcie_rev_init(struct iproc_pcie *pcie)  in iproc_pcie_rev_init()  argument
1422 	struct device *dev = pcie->dev;  in iproc_pcie_rev_init()
1426 	switch (pcie->type) {  in iproc_pcie_rev_init()
1432 		pcie->has_apb_err_disable = true;  in iproc_pcie_rev_init()
1433 		if (pcie->need_ob_cfg) {  in iproc_pcie_rev_init()
1434 			pcie->ob_map = paxb_ob_map;  in iproc_pcie_rev_init()
1435 			pcie->ob.nr_windows = ARRAY_SIZE(paxb_ob_map);  in iproc_pcie_rev_init()
1440 		pcie->iproc_cfg_read = true;  in iproc_pcie_rev_init()
1441 		pcie->has_apb_err_disable = true;  in iproc_pcie_rev_init()
1442 		if (pcie->need_ob_cfg) {  in iproc_pcie_rev_init()
1443 			pcie->ob_map = paxb_v2_ob_map;  in iproc_pcie_rev_init()
1444 			pcie->ob.nr_windows = ARRAY_SIZE(paxb_v2_ob_map);  in iproc_pcie_rev_init()
1446 		pcie->ib.nr_regions = ARRAY_SIZE(paxb_v2_ib_map);  in iproc_pcie_rev_init()
1447 		pcie->ib_map = paxb_v2_ib_map;  in iproc_pcie_rev_init()
1448 		pcie->need_msi_steer = true;  in iproc_pcie_rev_init()
1454 		pcie->ep_is_internal = true;  in iproc_pcie_rev_init()
1455 		pcie->iproc_cfg_read = true;  in iproc_pcie_rev_init()
1456 		pcie->rej_unconfig_pf = true;  in iproc_pcie_rev_init()
1460 		pcie->ep_is_internal = true;  in iproc_pcie_rev_init()
1461 		pcie->iproc_cfg_read = true;  in iproc_pcie_rev_init()
1462 		pcie->rej_unconfig_pf = true;  in iproc_pcie_rev_init()
1463 		pcie->need_msi_steer = true;  in iproc_pcie_rev_init()
1470 	pcie->reg_offsets = devm_kcalloc(dev, IPROC_PCIE_MAX_NUM_REG,  in iproc_pcie_rev_init()
1471 					 sizeof(*pcie->reg_offsets),  in iproc_pcie_rev_init()
1473 	if (!pcie->reg_offsets)  in iproc_pcie_rev_init()
1477 	pcie->reg_offsets[0] = (pcie->type == IPROC_PCIE_PAXC_V2) ?  in iproc_pcie_rev_init()
1480 		pcie->reg_offsets[reg_idx] = regs[reg_idx] ?  in iproc_pcie_rev_init()
1486 int iproc_pcie_setup(struct iproc_pcie *pcie, struct list_head *res)  in iproc_pcie_setup()  argument
1491 	struct pci_host_bridge *host = pci_host_bridge_from_priv(pcie);  in iproc_pcie_setup()
1493 	dev = pcie->dev;  in iproc_pcie_setup()
1495 	ret = iproc_pcie_rev_init(pcie);  in iproc_pcie_setup()
1505 	ret = phy_init(pcie->phy);  in iproc_pcie_setup()
1511 	ret = phy_power_on(pcie->phy);  in iproc_pcie_setup()
1517 	iproc_pcie_perst_ctrl(pcie, true);  in iproc_pcie_setup()
1518 	iproc_pcie_perst_ctrl(pcie, false);  in iproc_pcie_setup()
1520 	if (pcie->need_ob_cfg) {  in iproc_pcie_setup()
1521 		ret = iproc_pcie_map_ranges(pcie, res);  in iproc_pcie_setup()
1528 	if (pcie->need_ib_cfg) {  in iproc_pcie_setup()
1529 		ret = iproc_pcie_map_dma_ranges(pcie);  in iproc_pcie_setup()
1534 	ret = iproc_pcie_check_link(pcie);  in iproc_pcie_setup()
1540 	iproc_pcie_enable(pcie);  in iproc_pcie_setup()
1543 		if (iproc_pcie_msi_enable(pcie))  in iproc_pcie_setup()
1550 	host->sysdata = pcie;  in iproc_pcie_setup()
1551 	host->map_irq = pcie->map_irq;  in iproc_pcie_setup()
1562 	pcie->root_bus = host->bus;  in iproc_pcie_setup()
1572 	phy_power_off(pcie->phy);  in iproc_pcie_setup()
1574 	phy_exit(pcie->phy);  in iproc_pcie_setup()
1579 int iproc_pcie_remove(struct iproc_pcie *pcie)  in iproc_pcie_remove()  argument
1581 	pci_stop_root_bus(pcie->root_bus);  in iproc_pcie_remove()
1582 	pci_remove_root_bus(pcie->root_bus);  in iproc_pcie_remove()
1584 	iproc_pcie_msi_disable(pcie);  in iproc_pcie_remove()
1586 	phy_power_off(pcie->phy);  in iproc_pcie_remove()
1587 	phy_exit(pcie->phy);  in iproc_pcie_remove()
1599 	struct iproc_pcie *pcie = iproc_data(pdev->bus);  in quirk_paxc_disable_msi_parsing()  local
1602 		iproc_pcie_paxc_v2_msi_steer(pcie, 0, false);  in quirk_paxc_disable_msi_parsing()