3  * Rockchip AXI PCIe host controller driver
5  * Copyright (c) 2016 Rockchip, Inc.
40 #include "pcie-rockchip.h"
42 static void rockchip_pcie_enable_bw_int(struct rockchip_pcie *rockchip)  in rockchip_pcie_enable_bw_int()  argument
46 	status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_enable_bw_int()
48 	rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_enable_bw_int()
51 static void rockchip_pcie_clr_bw_int(struct rockchip_pcie *rockchip)  in rockchip_pcie_clr_bw_int()  argument
55 	status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_clr_bw_int()
57 	rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_clr_bw_int()
60 static void rockchip_pcie_update_txcredit_mui(struct rockchip_pcie *rockchip)  in rockchip_pcie_update_txcredit_mui()  argument
65 	val = rockchip_pcie_read(rockchip, PCIE_CORE_TXCREDIT_CFG1);  in rockchip_pcie_update_txcredit_mui()
68 	rockchip_pcie_write(rockchip, val, PCIE_CORE_TXCREDIT_CFG1);  in rockchip_pcie_update_txcredit_mui()
71 static int rockchip_pcie_valid_device(struct rockchip_pcie *rockchip,  in rockchip_pcie_valid_device()  argument
85 static u8 rockchip_pcie_lane_map(struct rockchip_pcie *rockchip)  in rockchip_pcie_lane_map()  argument
90 	if (rockchip->legacy_phy)  in rockchip_pcie_lane_map()
93 	val = rockchip_pcie_read(rockchip, PCIE_CORE_LANE_MAP);  in rockchip_pcie_lane_map()
103 static int rockchip_pcie_rd_own_conf(struct rockchip_pcie *rockchip,  in rockchip_pcie_rd_own_conf()  argument
108 	addr = rockchip->apb_base + PCIE_RC_CONFIG_NORMAL_BASE + where;  in rockchip_pcie_rd_own_conf()
128 static int rockchip_pcie_wr_own_conf(struct rockchip_pcie *rockchip,  in rockchip_pcie_wr_own_conf()  argument
135 	addr = rockchip->apb_base + PCIE_RC_CONFIG_NORMAL_BASE + offset;  in rockchip_pcie_wr_own_conf()
156 static int rockchip_pcie_rd_other_conf(struct rockchip_pcie *rockchip,  in rockchip_pcie_rd_other_conf()  argument
162 	addr = rockchip->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where);  in rockchip_pcie_rd_other_conf()
170 		rockchip_pcie_cfg_configuration_accesses(rockchip,  in rockchip_pcie_rd_other_conf()
173 		rockchip_pcie_cfg_configuration_accesses(rockchip,  in rockchip_pcie_rd_other_conf()
189 static int rockchip_pcie_wr_other_conf(struct rockchip_pcie *rockchip,  in rockchip_pcie_wr_other_conf()  argument
195 	addr = rockchip->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where);  in rockchip_pcie_wr_other_conf()
201 		rockchip_pcie_cfg_configuration_accesses(rockchip,  in rockchip_pcie_wr_other_conf()
204 		rockchip_pcie_cfg_configuration_accesses(rockchip,  in rockchip_pcie_wr_other_conf()
222 	struct rockchip_pcie *rockchip = bus->sysdata;  in rockchip_pcie_rd_conf()  local
224 	if (!rockchip_pcie_valid_device(rockchip, bus, PCI_SLOT(devfn)))  in rockchip_pcie_rd_conf()
228 		return rockchip_pcie_rd_own_conf(rockchip, where, size, val);  in rockchip_pcie_rd_conf()
230 	return rockchip_pcie_rd_other_conf(rockchip, bus, devfn, where, size,  in rockchip_pcie_rd_conf()
237 	struct rockchip_pcie *rockchip = bus->sysdata;  in rockchip_pcie_wr_conf()  local
239 	if (!rockchip_pcie_valid_device(rockchip, bus, PCI_SLOT(devfn)))  in rockchip_pcie_wr_conf()
243 		return rockchip_pcie_wr_own_conf(rockchip, where, size, val);  in rockchip_pcie_wr_conf()
245 	return rockchip_pcie_wr_other_conf(rockchip, bus, devfn, where, size,  in rockchip_pcie_wr_conf()
254 static void rockchip_pcie_set_power_limit(struct rockchip_pcie *rockchip)  in rockchip_pcie_set_power_limit()  argument
259 	if (IS_ERR(rockchip->vpcie3v3))  in rockchip_pcie_set_power_limit()
268 	curr = regulator_get_current_limit(rockchip->vpcie3v3);  in rockchip_pcie_set_power_limit()
277 			dev_warn(rockchip->dev, "invalid power supply\n");  in rockchip_pcie_set_power_limit()
284 	status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_DCR);  in rockchip_pcie_set_power_limit()
287 	rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_DCR);  in rockchip_pcie_set_power_limit()
292  * @rockchip: PCIe port information
294 static int rockchip_pcie_host_init_port(struct rockchip_pcie *rockchip)  in rockchip_pcie_host_init_port()  argument
296 	struct device *dev = rockchip->dev;  in rockchip_pcie_host_init_port()
300 	gpiod_set_value_cansleep(rockchip->ep_gpio, 0);  in rockchip_pcie_host_init_port()
302 	err = rockchip_pcie_init_port(rockchip);  in rockchip_pcie_host_init_port()
307 	status = rockchip_pcie_read(rockchip, PCIE_CORE_CTRL_PLC1);  in rockchip_pcie_host_init_port()
310 	rockchip_pcie_write(rockchip, status, PCIE_CORE_CTRL_PLC1);  in rockchip_pcie_host_init_port()
312 	rockchip_pcie_set_power_limit(rockchip);  in rockchip_pcie_host_init_port()
315 	status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_host_init_port()
317 	rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_host_init_port()
320 	status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_host_init_port()
322 	rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_host_init_port()
325 	rockchip_pcie_write(rockchip, PCIE_CLIENT_LINK_TRAIN_ENABLE,  in rockchip_pcie_host_init_port()
328 	gpiod_set_value_cansleep(rockchip->ep_gpio, 1);  in rockchip_pcie_host_init_port()
331 	err = readl_poll_timeout(rockchip->apb_base + PCIE_CLIENT_BASIC_STATUS1,  in rockchip_pcie_host_init_port()
339 	if (rockchip->link_gen == 2) {  in rockchip_pcie_host_init_port()
344 		status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_host_init_port()
346 		rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS);  in rockchip_pcie_host_init_port()
348 		err = readl_poll_timeout(rockchip->apb_base + PCIE_CORE_CTRL,  in rockchip_pcie_host_init_port()
356 	status = rockchip_pcie_read(rockchip, PCIE_CORE_CTRL);  in rockchip_pcie_host_init_port()
362 	rockchip->lanes_map = rockchip_pcie_lane_map(rockchip);  in rockchip_pcie_host_init_port()
364 		if (!(rockchip->lanes_map & BIT(i))) {  in rockchip_pcie_host_init_port()
366 			phy_power_off(rockchip->phys[i]);  in rockchip_pcie_host_init_port()
370 	rockchip_pcie_write(rockchip, ROCKCHIP_VENDOR_ID,  in rockchip_pcie_host_init_port()
372 	rockchip_pcie_write(rockchip,  in rockchip_pcie_host_init_port()
377 	status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_THP_CAP);  in rockchip_pcie_host_init_port()
379 	rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_THP_CAP);  in rockchip_pcie_host_init_port()
383 		status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LINK_CAP);  in rockchip_pcie_host_init_port()
385 		rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LINK_CAP);  in rockchip_pcie_host_init_port()
388 	status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_DCSR);  in rockchip_pcie_host_init_port()
391 	rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_DCSR);  in rockchip_pcie_host_init_port()
396 		phy_power_off(rockchip->phys[i]);  in rockchip_pcie_host_init_port()
399 		phy_exit(rockchip->phys[i]);  in rockchip_pcie_host_init_port()
405 	struct rockchip_pcie *rockchip = arg;  in rockchip_pcie_subsys_irq_handler()  local
406 	struct device *dev = rockchip->dev;  in rockchip_pcie_subsys_irq_handler()
410 	reg = rockchip_pcie_read(rockchip, PCIE_CLIENT_INT_STATUS);  in rockchip_pcie_subsys_irq_handler()
413 		sub_reg = rockchip_pcie_read(rockchip, PCIE_CORE_INT_STATUS);  in rockchip_pcie_subsys_irq_handler()
456 		rockchip_pcie_write(rockchip, sub_reg, PCIE_CORE_INT_STATUS);  in rockchip_pcie_subsys_irq_handler()
459 		rockchip_pcie_update_txcredit_mui(rockchip);  in rockchip_pcie_subsys_irq_handler()
460 		rockchip_pcie_clr_bw_int(rockchip);  in rockchip_pcie_subsys_irq_handler()
463 	rockchip_pcie_write(rockchip, reg & PCIE_CLIENT_INT_LOCAL,  in rockchip_pcie_subsys_irq_handler()
471 	struct rockchip_pcie *rockchip = arg;  in rockchip_pcie_client_irq_handler()  local
472 	struct device *dev = rockchip->dev;  in rockchip_pcie_client_irq_handler()
475 	reg = rockchip_pcie_read(rockchip, PCIE_CLIENT_INT_STATUS);  in rockchip_pcie_client_irq_handler()
500 	rockchip_pcie_write(rockchip, reg & (PCIE_CLIENT_INT_LEGACY_DONE |  in rockchip_pcie_client_irq_handler()
514 	struct rockchip_pcie *rockchip = irq_desc_get_handler_data(desc);  in rockchip_pcie_legacy_int_handler()  local
515 	struct device *dev = rockchip->dev;  in rockchip_pcie_legacy_int_handler()
522 	reg = rockchip_pcie_read(rockchip, PCIE_CLIENT_INT_STATUS);  in rockchip_pcie_legacy_int_handler()
529 		ret = generic_handle_domain_irq(rockchip->irq_domain, hwirq);  in rockchip_pcie_legacy_int_handler()
537 static int rockchip_pcie_setup_irq(struct rockchip_pcie *rockchip)  in rockchip_pcie_setup_irq()  argument
540 	struct device *dev = rockchip->dev;  in rockchip_pcie_setup_irq()
548 			       IRQF_SHARED, "pcie-sys", rockchip);  in rockchip_pcie_setup_irq()
560 					 rockchip);  in rockchip_pcie_setup_irq()
567 			       IRQF_SHARED, "pcie-client", rockchip);  in rockchip_pcie_setup_irq()
578  * @rockchip: PCIe port information
582 static int rockchip_pcie_parse_host_dt(struct rockchip_pcie *rockchip)  in rockchip_pcie_parse_host_dt()  argument
584 	struct device *dev = rockchip->dev;  in rockchip_pcie_parse_host_dt()
587 	err = rockchip_pcie_parse_dt(rockchip);  in rockchip_pcie_parse_host_dt()
591 	rockchip->vpcie12v = devm_regulator_get_optional(dev, "vpcie12v");  in rockchip_pcie_parse_host_dt()
592 	if (IS_ERR(rockchip->vpcie12v)) {  in rockchip_pcie_parse_host_dt()
593 		if (PTR_ERR(rockchip->vpcie12v) != -ENODEV)  in rockchip_pcie_parse_host_dt()
594 			return PTR_ERR(rockchip->vpcie12v);  in rockchip_pcie_parse_host_dt()
598 	rockchip->vpcie3v3 = devm_regulator_get_optional(dev, "vpcie3v3");  in rockchip_pcie_parse_host_dt()
599 	if (IS_ERR(rockchip->vpcie3v3)) {  in rockchip_pcie_parse_host_dt()
600 		if (PTR_ERR(rockchip->vpcie3v3) != -ENODEV)  in rockchip_pcie_parse_host_dt()
601 			return PTR_ERR(rockchip->vpcie3v3);  in rockchip_pcie_parse_host_dt()
605 	rockchip->vpcie1v8 = devm_regulator_get(dev, "vpcie1v8");  in rockchip_pcie_parse_host_dt()
606 	if (IS_ERR(rockchip->vpcie1v8))  in rockchip_pcie_parse_host_dt()
607 		return PTR_ERR(rockchip->vpcie1v8);  in rockchip_pcie_parse_host_dt()
609 	rockchip->vpcie0v9 = devm_regulator_get(dev, "vpcie0v9");  in rockchip_pcie_parse_host_dt()
610 	if (IS_ERR(rockchip->vpcie0v9))  in rockchip_pcie_parse_host_dt()
611 		return PTR_ERR(rockchip->vpcie0v9);  in rockchip_pcie_parse_host_dt()
616 static int rockchip_pcie_set_vpcie(struct rockchip_pcie *rockchip)  in rockchip_pcie_set_vpcie()  argument
618 	struct device *dev = rockchip->dev;  in rockchip_pcie_set_vpcie()
621 	if (!IS_ERR(rockchip->vpcie12v)) {  in rockchip_pcie_set_vpcie()
622 		err = regulator_enable(rockchip->vpcie12v);  in rockchip_pcie_set_vpcie()
629 	if (!IS_ERR(rockchip->vpcie3v3)) {  in rockchip_pcie_set_vpcie()
630 		err = regulator_enable(rockchip->vpcie3v3);  in rockchip_pcie_set_vpcie()
637 	err = regulator_enable(rockchip->vpcie1v8);  in rockchip_pcie_set_vpcie()
643 	err = regulator_enable(rockchip->vpcie0v9);  in rockchip_pcie_set_vpcie()
652 	regulator_disable(rockchip->vpcie1v8);  in rockchip_pcie_set_vpcie()
654 	if (!IS_ERR(rockchip->vpcie3v3))  in rockchip_pcie_set_vpcie()
655 		regulator_disable(rockchip->vpcie3v3);  in rockchip_pcie_set_vpcie()
657 	if (!IS_ERR(rockchip->vpcie12v))  in rockchip_pcie_set_vpcie()
658 		regulator_disable(rockchip->vpcie12v);  in rockchip_pcie_set_vpcie()
663 static void rockchip_pcie_enable_interrupts(struct rockchip_pcie *rockchip)  in rockchip_pcie_enable_interrupts()  argument
665 	rockchip_pcie_write(rockchip, (PCIE_CLIENT_INT_CLI << 16) &  in rockchip_pcie_enable_interrupts()
667 	rockchip_pcie_write(rockchip, (u32)(~PCIE_CORE_INT),  in rockchip_pcie_enable_interrupts()
670 	rockchip_pcie_enable_bw_int(rockchip);  in rockchip_pcie_enable_interrupts()
686 static int rockchip_pcie_init_irq_domain(struct rockchip_pcie *rockchip)  in rockchip_pcie_init_irq_domain()  argument
688 	struct device *dev = rockchip->dev;  in rockchip_pcie_init_irq_domain()
696 	rockchip->irq_domain = irq_domain_add_linear(intc, PCI_NUM_INTX,  in rockchip_pcie_init_irq_domain()
697 						    &intx_domain_ops, rockchip);  in rockchip_pcie_init_irq_domain()
699 	if (!rockchip->irq_domain) {  in rockchip_pcie_init_irq_domain()
707 static int rockchip_pcie_prog_ob_atu(struct rockchip_pcie *rockchip,  in rockchip_pcie_prog_ob_atu()  argument
738 	rockchip_pcie_write(rockchip, ob_addr_0,  in rockchip_pcie_prog_ob_atu()
740 	rockchip_pcie_write(rockchip, ob_addr_1,  in rockchip_pcie_prog_ob_atu()
742 	rockchip_pcie_write(rockchip, ob_desc_0,  in rockchip_pcie_prog_ob_atu()
744 	rockchip_pcie_write(rockchip, 0,  in rockchip_pcie_prog_ob_atu()
750 static int rockchip_pcie_prog_ib_atu(struct rockchip_pcie *rockchip,  in rockchip_pcie_prog_ib_atu()  argument
771 	rockchip_pcie_write(rockchip, ib_addr_0, PCIE_RP_IB_ADDR0 + aw_offset);  in rockchip_pcie_prog_ib_atu()
772 	rockchip_pcie_write(rockchip, ib_addr_1, PCIE_RP_IB_ADDR1 + aw_offset);  in rockchip_pcie_prog_ib_atu()
777 static int rockchip_pcie_cfg_atu(struct rockchip_pcie *rockchip)  in rockchip_pcie_cfg_atu()  argument
779 	struct device *dev = rockchip->dev;  in rockchip_pcie_cfg_atu()
780 	struct pci_host_bridge *bridge = pci_host_bridge_from_priv(rockchip);  in rockchip_pcie_cfg_atu()
787 	rockchip_pcie_cfg_configuration_accesses(rockchip,  in rockchip_pcie_cfg_atu()
795 	rockchip->msg_bus_addr = pci_addr;  in rockchip_pcie_cfg_atu()
798 		err = rockchip_pcie_prog_ob_atu(rockchip, reg_no + 1,  in rockchip_pcie_cfg_atu()
809 	err = rockchip_pcie_prog_ib_atu(rockchip, 2, 32 - 1, 0x0, 0);  in rockchip_pcie_cfg_atu()
826 		err = rockchip_pcie_prog_ob_atu(rockchip,  in rockchip_pcie_cfg_atu()
839 	rockchip_pcie_prog_ob_atu(rockchip, reg_no + 1 + offset,  in rockchip_pcie_cfg_atu()
843 	rockchip->msg_bus_addr += ((reg_no + offset) << 20);  in rockchip_pcie_cfg_atu()
847 static int rockchip_pcie_wait_l2(struct rockchip_pcie *rockchip)  in rockchip_pcie_wait_l2()  argument
853 	writel(0x0, rockchip->msg_region + PCIE_RC_SEND_PME_OFF);  in rockchip_pcie_wait_l2()
856 	err = readl_poll_timeout(rockchip->apb_base + PCIE_CLIENT_DEBUG_OUT_0,  in rockchip_pcie_wait_l2()
860 		dev_err(rockchip->dev, "PCIe link enter L2 timeout!\n");  in rockchip_pcie_wait_l2()
869 	struct rockchip_pcie *rockchip = dev_get_drvdata(dev);  in rockchip_pcie_suspend_noirq()  local
873 	rockchip_pcie_write(rockchip, (PCIE_CLIENT_INT_CLI << 16) |  in rockchip_pcie_suspend_noirq()
875 	rockchip_pcie_write(rockchip, (u32)PCIE_CORE_INT, PCIE_CORE_INT_MASK);  in rockchip_pcie_suspend_noirq()
877 	ret = rockchip_pcie_wait_l2(rockchip);  in rockchip_pcie_suspend_noirq()
879 		rockchip_pcie_enable_interrupts(rockchip);  in rockchip_pcie_suspend_noirq()
883 	rockchip_pcie_deinit_phys(rockchip);  in rockchip_pcie_suspend_noirq()
885 	rockchip_pcie_disable_clocks(rockchip);  in rockchip_pcie_suspend_noirq()
887 	regulator_disable(rockchip->vpcie0v9);  in rockchip_pcie_suspend_noirq()
894 	struct rockchip_pcie *rockchip = dev_get_drvdata(dev);  in rockchip_pcie_resume_noirq()  local
897 	err = regulator_enable(rockchip->vpcie0v9);  in rockchip_pcie_resume_noirq()
903 	err = rockchip_pcie_enable_clocks(rockchip);  in rockchip_pcie_resume_noirq()
907 	err = rockchip_pcie_host_init_port(rockchip);  in rockchip_pcie_resume_noirq()
911 	err = rockchip_pcie_cfg_atu(rockchip);  in rockchip_pcie_resume_noirq()
916 	rockchip_pcie_update_txcredit_mui(rockchip);  in rockchip_pcie_resume_noirq()
917 	rockchip_pcie_enable_interrupts(rockchip);  in rockchip_pcie_resume_noirq()
922 	rockchip_pcie_deinit_phys(rockchip);  in rockchip_pcie_resume_noirq()
924 	rockchip_pcie_disable_clocks(rockchip);  in rockchip_pcie_resume_noirq()
926 	regulator_disable(rockchip->vpcie0v9);  in rockchip_pcie_resume_noirq()
932 	struct rockchip_pcie *rockchip;  in rockchip_pcie_probe()  local
940 	bridge = devm_pci_alloc_host_bridge(dev, sizeof(*rockchip));  in rockchip_pcie_probe()
944 	rockchip = pci_host_bridge_priv(bridge);  in rockchip_pcie_probe()
946 	platform_set_drvdata(pdev, rockchip);  in rockchip_pcie_probe()
947 	rockchip->dev = dev;  in rockchip_pcie_probe()
948 	rockchip->is_rc = true;  in rockchip_pcie_probe()
950 	err = rockchip_pcie_parse_host_dt(rockchip);  in rockchip_pcie_probe()
954 	err = rockchip_pcie_enable_clocks(rockchip);  in rockchip_pcie_probe()
958 	err = rockchip_pcie_set_vpcie(rockchip);  in rockchip_pcie_probe()
964 	err = rockchip_pcie_host_init_port(rockchip);  in rockchip_pcie_probe()
968 	err = rockchip_pcie_init_irq_domain(rockchip);  in rockchip_pcie_probe()
972 	err = rockchip_pcie_cfg_atu(rockchip);  in rockchip_pcie_probe()
976 	rockchip->msg_region = devm_ioremap(dev, rockchip->msg_bus_addr, SZ_1M);  in rockchip_pcie_probe()
977 	if (!rockchip->msg_region) {  in rockchip_pcie_probe()
982 	bridge->sysdata = rockchip;  in rockchip_pcie_probe()
985 	err = rockchip_pcie_setup_irq(rockchip);  in rockchip_pcie_probe()
989 	rockchip_pcie_enable_interrupts(rockchip);  in rockchip_pcie_probe()
998 	irq_domain_remove(rockchip->irq_domain);  in rockchip_pcie_probe()
1000 	rockchip_pcie_deinit_phys(rockchip);  in rockchip_pcie_probe()
1002 	if (!IS_ERR(rockchip->vpcie12v))  in rockchip_pcie_probe()
1003 		regulator_disable(rockchip->vpcie12v);  in rockchip_pcie_probe()
1004 	if (!IS_ERR(rockchip->vpcie3v3))  in rockchip_pcie_probe()
1005 		regulator_disable(rockchip->vpcie3v3);  in rockchip_pcie_probe()
1006 	regulator_disable(rockchip->vpcie1v8);  in rockchip_pcie_probe()
1007 	regulator_disable(rockchip->vpcie0v9);  in rockchip_pcie_probe()
1009 	rockchip_pcie_disable_clocks(rockchip);  in rockchip_pcie_probe()
1016 	struct rockchip_pcie *rockchip = dev_get_drvdata(dev);  in rockchip_pcie_remove()  local
1017 	struct pci_host_bridge *bridge = pci_host_bridge_from_priv(rockchip);  in rockchip_pcie_remove()
1021 	irq_domain_remove(rockchip->irq_domain);  in rockchip_pcie_remove()
1023 	rockchip_pcie_deinit_phys(rockchip);  in rockchip_pcie_remove()
1025 	rockchip_pcie_disable_clocks(rockchip);  in rockchip_pcie_remove()
1027 	if (!IS_ERR(rockchip->vpcie12v))  in rockchip_pcie_remove()
1028 		regulator_disable(rockchip->vpcie12v);  in rockchip_pcie_remove()
1029 	if (!IS_ERR(rockchip->vpcie3v3))  in rockchip_pcie_remove()
1030 		regulator_disable(rockchip->vpcie3v3);  in rockchip_pcie_remove()
1031 	regulator_disable(rockchip->vpcie1v8);  in rockchip_pcie_remove()
1032 	regulator_disable(rockchip->vpcie0v9);  in rockchip_pcie_remove()
1043 	{ .compatible = "rockchip,rk3399-pcie", },
1050 		.name = "rockchip-pcie",
1059 MODULE_AUTHOR("Rockchip Inc");
1060 MODULE_DESCRIPTION("Rockchip AXI PCIe driver");