Lines Matching full:rockchip

3  * Rockchip AXI PCIe host controller driver
5 * Copyright (c) 2016 Rockchip, Inc.
40 #include "pcie-rockchip.h"
42 static void rockchip_pcie_enable_bw_int(struct rockchip_pcie *rockchip) in rockchip_pcie_enable_bw_int() argument
46 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS); in rockchip_pcie_enable_bw_int()
48 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS); in rockchip_pcie_enable_bw_int()
51 static void rockchip_pcie_clr_bw_int(struct rockchip_pcie *rockchip) in rockchip_pcie_clr_bw_int() argument
55 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS); in rockchip_pcie_clr_bw_int()
57 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS); in rockchip_pcie_clr_bw_int()
60 static void rockchip_pcie_update_txcredit_mui(struct rockchip_pcie *rockchip) in rockchip_pcie_update_txcredit_mui() argument
65 val = rockchip_pcie_read(rockchip, PCIE_CORE_TXCREDIT_CFG1); in rockchip_pcie_update_txcredit_mui()
68 rockchip_pcie_write(rockchip, val, PCIE_CORE_TXCREDIT_CFG1); in rockchip_pcie_update_txcredit_mui()
71 static int rockchip_pcie_valid_device(struct rockchip_pcie *rockchip, in rockchip_pcie_valid_device() argument
85 static u8 rockchip_pcie_lane_map(struct rockchip_pcie *rockchip) in rockchip_pcie_lane_map() argument
90 if (rockchip->legacy_phy) in rockchip_pcie_lane_map()
93 val = rockchip_pcie_read(rockchip, PCIE_CORE_LANE_MAP); in rockchip_pcie_lane_map()
103 static int rockchip_pcie_rd_own_conf(struct rockchip_pcie *rockchip, in rockchip_pcie_rd_own_conf() argument
108 addr = rockchip->apb_base + PCIE_RC_CONFIG_NORMAL_BASE + where; in rockchip_pcie_rd_own_conf()
128 static int rockchip_pcie_wr_own_conf(struct rockchip_pcie *rockchip, in rockchip_pcie_wr_own_conf() argument
135 addr = rockchip->apb_base + PCIE_RC_CONFIG_NORMAL_BASE + offset; in rockchip_pcie_wr_own_conf()
156 static int rockchip_pcie_rd_other_conf(struct rockchip_pcie *rockchip, in rockchip_pcie_rd_other_conf() argument
162 addr = rockchip->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where); in rockchip_pcie_rd_other_conf()
170 rockchip_pcie_cfg_configuration_accesses(rockchip, in rockchip_pcie_rd_other_conf()
173 rockchip_pcie_cfg_configuration_accesses(rockchip, in rockchip_pcie_rd_other_conf()
189 static int rockchip_pcie_wr_other_conf(struct rockchip_pcie *rockchip, in rockchip_pcie_wr_other_conf() argument
195 addr = rockchip->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where); in rockchip_pcie_wr_other_conf()
201 rockchip_pcie_cfg_configuration_accesses(rockchip, in rockchip_pcie_wr_other_conf()
204 rockchip_pcie_cfg_configuration_accesses(rockchip, in rockchip_pcie_wr_other_conf()
222 struct rockchip_pcie *rockchip = bus->sysdata; in rockchip_pcie_rd_conf() local
224 if (!rockchip_pcie_valid_device(rockchip, bus, PCI_SLOT(devfn))) { in rockchip_pcie_rd_conf()
230 return rockchip_pcie_rd_own_conf(rockchip, where, size, val); in rockchip_pcie_rd_conf()
232 return rockchip_pcie_rd_other_conf(rockchip, bus, devfn, where, size, in rockchip_pcie_rd_conf()
239 struct rockchip_pcie *rockchip = bus->sysdata; in rockchip_pcie_wr_conf() local
241 if (!rockchip_pcie_valid_device(rockchip, bus, PCI_SLOT(devfn))) in rockchip_pcie_wr_conf()
245 return rockchip_pcie_wr_own_conf(rockchip, where, size, val); in rockchip_pcie_wr_conf()
247 return rockchip_pcie_wr_other_conf(rockchip, bus, devfn, where, size, in rockchip_pcie_wr_conf()
256 static void rockchip_pcie_set_power_limit(struct rockchip_pcie *rockchip) in rockchip_pcie_set_power_limit() argument
261 if (IS_ERR(rockchip->vpcie3v3)) in rockchip_pcie_set_power_limit()
270 curr = regulator_get_current_limit(rockchip->vpcie3v3); in rockchip_pcie_set_power_limit()
279 dev_warn(rockchip->dev, "invalid power supply\n"); in rockchip_pcie_set_power_limit()
286 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_DCR); in rockchip_pcie_set_power_limit()
289 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_DCR); in rockchip_pcie_set_power_limit()
294 * @rockchip: PCIe port information
296 static int rockchip_pcie_host_init_port(struct rockchip_pcie *rockchip) in rockchip_pcie_host_init_port() argument
298 struct device *dev = rockchip->dev; in rockchip_pcie_host_init_port()
302 gpiod_set_value_cansleep(rockchip->ep_gpio, 0); in rockchip_pcie_host_init_port()
304 err = rockchip_pcie_init_port(rockchip); in rockchip_pcie_host_init_port()
309 status = rockchip_pcie_read(rockchip, PCIE_CORE_CTRL_PLC1); in rockchip_pcie_host_init_port()
312 rockchip_pcie_write(rockchip, status, PCIE_CORE_CTRL_PLC1); in rockchip_pcie_host_init_port()
314 rockchip_pcie_set_power_limit(rockchip); in rockchip_pcie_host_init_port()
317 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS); in rockchip_pcie_host_init_port()
319 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS); in rockchip_pcie_host_init_port()
322 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS); in rockchip_pcie_host_init_port()
324 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS); in rockchip_pcie_host_init_port()
327 rockchip_pcie_write(rockchip, PCIE_CLIENT_LINK_TRAIN_ENABLE, in rockchip_pcie_host_init_port()
330 gpiod_set_value_cansleep(rockchip->ep_gpio, 1); in rockchip_pcie_host_init_port()
333 err = readl_poll_timeout(rockchip->apb_base + PCIE_CLIENT_BASIC_STATUS1, in rockchip_pcie_host_init_port()
341 if (rockchip->link_gen == 2) { in rockchip_pcie_host_init_port()
346 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LCS); in rockchip_pcie_host_init_port()
348 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LCS); in rockchip_pcie_host_init_port()
350 err = readl_poll_timeout(rockchip->apb_base + PCIE_CORE_CTRL, in rockchip_pcie_host_init_port()
358 status = rockchip_pcie_read(rockchip, PCIE_CORE_CTRL); in rockchip_pcie_host_init_port()
364 rockchip->lanes_map = rockchip_pcie_lane_map(rockchip); in rockchip_pcie_host_init_port()
366 if (!(rockchip->lanes_map & BIT(i))) { in rockchip_pcie_host_init_port()
368 phy_power_off(rockchip->phys[i]); in rockchip_pcie_host_init_port()
372 rockchip_pcie_write(rockchip, ROCKCHIP_VENDOR_ID, in rockchip_pcie_host_init_port()
374 rockchip_pcie_write(rockchip, in rockchip_pcie_host_init_port()
379 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_THP_CAP); in rockchip_pcie_host_init_port()
381 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_THP_CAP); in rockchip_pcie_host_init_port()
385 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_LINK_CAP); in rockchip_pcie_host_init_port()
387 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_LINK_CAP); in rockchip_pcie_host_init_port()
390 status = rockchip_pcie_read(rockchip, PCIE_RC_CONFIG_DCSR); in rockchip_pcie_host_init_port()
393 rockchip_pcie_write(rockchip, status, PCIE_RC_CONFIG_DCSR); in rockchip_pcie_host_init_port()
398 phy_power_off(rockchip->phys[i]); in rockchip_pcie_host_init_port()
401 phy_exit(rockchip->phys[i]); in rockchip_pcie_host_init_port()
407 struct rockchip_pcie *rockchip = arg; in rockchip_pcie_subsys_irq_handler() local
408 struct device *dev = rockchip->dev; in rockchip_pcie_subsys_irq_handler()
412 reg = rockchip_pcie_read(rockchip, PCIE_CLIENT_INT_STATUS); in rockchip_pcie_subsys_irq_handler()
415 sub_reg = rockchip_pcie_read(rockchip, PCIE_CORE_INT_STATUS); in rockchip_pcie_subsys_irq_handler()
458 rockchip_pcie_write(rockchip, sub_reg, PCIE_CORE_INT_STATUS); in rockchip_pcie_subsys_irq_handler()
461 rockchip_pcie_update_txcredit_mui(rockchip); in rockchip_pcie_subsys_irq_handler()
462 rockchip_pcie_clr_bw_int(rockchip); in rockchip_pcie_subsys_irq_handler()
465 rockchip_pcie_write(rockchip, reg & PCIE_CLIENT_INT_LOCAL, in rockchip_pcie_subsys_irq_handler()
473 struct rockchip_pcie *rockchip = arg; in rockchip_pcie_client_irq_handler() local
474 struct device *dev = rockchip->dev; in rockchip_pcie_client_irq_handler()
477 reg = rockchip_pcie_read(rockchip, PCIE_CLIENT_INT_STATUS); in rockchip_pcie_client_irq_handler()
502 rockchip_pcie_write(rockchip, reg & (PCIE_CLIENT_INT_LEGACY_DONE | in rockchip_pcie_client_irq_handler()
516 struct rockchip_pcie *rockchip = irq_desc_get_handler_data(desc); in rockchip_pcie_legacy_int_handler() local
517 struct device *dev = rockchip->dev; in rockchip_pcie_legacy_int_handler()
524 reg = rockchip_pcie_read(rockchip, PCIE_CLIENT_INT_STATUS); in rockchip_pcie_legacy_int_handler()
531 ret = generic_handle_domain_irq(rockchip->irq_domain, hwirq); in rockchip_pcie_legacy_int_handler()
539 static int rockchip_pcie_setup_irq(struct rockchip_pcie *rockchip) in rockchip_pcie_setup_irq() argument
542 struct device *dev = rockchip->dev; in rockchip_pcie_setup_irq()
550 IRQF_SHARED, "pcie-sys", rockchip); in rockchip_pcie_setup_irq()
562 rockchip); in rockchip_pcie_setup_irq()
569 IRQF_SHARED, "pcie-client", rockchip); in rockchip_pcie_setup_irq()
580 * @rockchip: PCIe port information
584 static int rockchip_pcie_parse_host_dt(struct rockchip_pcie *rockchip) in rockchip_pcie_parse_host_dt() argument
586 struct device *dev = rockchip->dev; in rockchip_pcie_parse_host_dt()
589 err = rockchip_pcie_parse_dt(rockchip); in rockchip_pcie_parse_host_dt()
593 rockchip->vpcie12v = devm_regulator_get_optional(dev, "vpcie12v"); in rockchip_pcie_parse_host_dt()
594 if (IS_ERR(rockchip->vpcie12v)) { in rockchip_pcie_parse_host_dt()
595 if (PTR_ERR(rockchip->vpcie12v) != -ENODEV) in rockchip_pcie_parse_host_dt()
596 return PTR_ERR(rockchip->vpcie12v); in rockchip_pcie_parse_host_dt()
600 rockchip->vpcie3v3 = devm_regulator_get_optional(dev, "vpcie3v3"); in rockchip_pcie_parse_host_dt()
601 if (IS_ERR(rockchip->vpcie3v3)) { in rockchip_pcie_parse_host_dt()
602 if (PTR_ERR(rockchip->vpcie3v3) != -ENODEV) in rockchip_pcie_parse_host_dt()
603 return PTR_ERR(rockchip->vpcie3v3); in rockchip_pcie_parse_host_dt()
607 rockchip->vpcie1v8 = devm_regulator_get(dev, "vpcie1v8"); in rockchip_pcie_parse_host_dt()
608 if (IS_ERR(rockchip->vpcie1v8)) in rockchip_pcie_parse_host_dt()
609 return PTR_ERR(rockchip->vpcie1v8); in rockchip_pcie_parse_host_dt()
611 rockchip->vpcie0v9 = devm_regulator_get(dev, "vpcie0v9"); in rockchip_pcie_parse_host_dt()
612 if (IS_ERR(rockchip->vpcie0v9)) in rockchip_pcie_parse_host_dt()
613 return PTR_ERR(rockchip->vpcie0v9); in rockchip_pcie_parse_host_dt()
618 static int rockchip_pcie_set_vpcie(struct rockchip_pcie *rockchip) in rockchip_pcie_set_vpcie() argument
620 struct device *dev = rockchip->dev; in rockchip_pcie_set_vpcie()
623 if (!IS_ERR(rockchip->vpcie12v)) { in rockchip_pcie_set_vpcie()
624 err = regulator_enable(rockchip->vpcie12v); in rockchip_pcie_set_vpcie()
631 if (!IS_ERR(rockchip->vpcie3v3)) { in rockchip_pcie_set_vpcie()
632 err = regulator_enable(rockchip->vpcie3v3); in rockchip_pcie_set_vpcie()
639 err = regulator_enable(rockchip->vpcie1v8); in rockchip_pcie_set_vpcie()
645 err = regulator_enable(rockchip->vpcie0v9); in rockchip_pcie_set_vpcie()
654 regulator_disable(rockchip->vpcie1v8); in rockchip_pcie_set_vpcie()
656 if (!IS_ERR(rockchip->vpcie3v3)) in rockchip_pcie_set_vpcie()
657 regulator_disable(rockchip->vpcie3v3); in rockchip_pcie_set_vpcie()
659 if (!IS_ERR(rockchip->vpcie12v)) in rockchip_pcie_set_vpcie()
660 regulator_disable(rockchip->vpcie12v); in rockchip_pcie_set_vpcie()
665 static void rockchip_pcie_enable_interrupts(struct rockchip_pcie *rockchip) in rockchip_pcie_enable_interrupts() argument
667 rockchip_pcie_write(rockchip, (PCIE_CLIENT_INT_CLI << 16) & in rockchip_pcie_enable_interrupts()
669 rockchip_pcie_write(rockchip, (u32)(~PCIE_CORE_INT), in rockchip_pcie_enable_interrupts()
672 rockchip_pcie_enable_bw_int(rockchip); in rockchip_pcie_enable_interrupts()
688 static int rockchip_pcie_init_irq_domain(struct rockchip_pcie *rockchip) in rockchip_pcie_init_irq_domain() argument
690 struct device *dev = rockchip->dev; in rockchip_pcie_init_irq_domain()
698 rockchip->irq_domain = irq_domain_add_linear(intc, PCI_NUM_INTX, in rockchip_pcie_init_irq_domain()
699 &intx_domain_ops, rockchip); in rockchip_pcie_init_irq_domain()
701 if (!rockchip->irq_domain) { in rockchip_pcie_init_irq_domain()
709 static int rockchip_pcie_prog_ob_atu(struct rockchip_pcie *rockchip, in rockchip_pcie_prog_ob_atu() argument
740 rockchip_pcie_write(rockchip, ob_addr_0, in rockchip_pcie_prog_ob_atu()
742 rockchip_pcie_write(rockchip, ob_addr_1, in rockchip_pcie_prog_ob_atu()
744 rockchip_pcie_write(rockchip, ob_desc_0, in rockchip_pcie_prog_ob_atu()
746 rockchip_pcie_write(rockchip, 0, in rockchip_pcie_prog_ob_atu()
752 static int rockchip_pcie_prog_ib_atu(struct rockchip_pcie *rockchip, in rockchip_pcie_prog_ib_atu() argument
773 rockchip_pcie_write(rockchip, ib_addr_0, PCIE_RP_IB_ADDR0 + aw_offset); in rockchip_pcie_prog_ib_atu()
774 rockchip_pcie_write(rockchip, ib_addr_1, PCIE_RP_IB_ADDR1 + aw_offset); in rockchip_pcie_prog_ib_atu()
779 static int rockchip_pcie_cfg_atu(struct rockchip_pcie *rockchip) in rockchip_pcie_cfg_atu() argument
781 struct device *dev = rockchip->dev; in rockchip_pcie_cfg_atu()
782 struct pci_host_bridge *bridge = pci_host_bridge_from_priv(rockchip); in rockchip_pcie_cfg_atu()
789 rockchip_pcie_cfg_configuration_accesses(rockchip, in rockchip_pcie_cfg_atu()
797 rockchip->msg_bus_addr = pci_addr; in rockchip_pcie_cfg_atu()
800 err = rockchip_pcie_prog_ob_atu(rockchip, reg_no + 1, in rockchip_pcie_cfg_atu()
811 err = rockchip_pcie_prog_ib_atu(rockchip, 2, 32 - 1, 0x0, 0); in rockchip_pcie_cfg_atu()
828 err = rockchip_pcie_prog_ob_atu(rockchip, in rockchip_pcie_cfg_atu()
841 rockchip_pcie_prog_ob_atu(rockchip, reg_no + 1 + offset, in rockchip_pcie_cfg_atu()
845 rockchip->msg_bus_addr += ((reg_no + offset) << 20); in rockchip_pcie_cfg_atu()
849 static int rockchip_pcie_wait_l2(struct rockchip_pcie *rockchip) in rockchip_pcie_wait_l2() argument
855 writel(0x0, rockchip->msg_region + PCIE_RC_SEND_PME_OFF); in rockchip_pcie_wait_l2()
858 err = readl_poll_timeout(rockchip->apb_base + PCIE_CLIENT_DEBUG_OUT_0, in rockchip_pcie_wait_l2()
862 dev_err(rockchip->dev, "PCIe link enter L2 timeout!\n"); in rockchip_pcie_wait_l2()
871 struct rockchip_pcie *rockchip = dev_get_drvdata(dev); in rockchip_pcie_suspend_noirq() local
875 rockchip_pcie_write(rockchip, (PCIE_CLIENT_INT_CLI << 16) | in rockchip_pcie_suspend_noirq()
877 rockchip_pcie_write(rockchip, (u32)PCIE_CORE_INT, PCIE_CORE_INT_MASK); in rockchip_pcie_suspend_noirq()
879 ret = rockchip_pcie_wait_l2(rockchip); in rockchip_pcie_suspend_noirq()
881 rockchip_pcie_enable_interrupts(rockchip); in rockchip_pcie_suspend_noirq()
885 rockchip_pcie_deinit_phys(rockchip); in rockchip_pcie_suspend_noirq()
887 rockchip_pcie_disable_clocks(rockchip); in rockchip_pcie_suspend_noirq()
889 regulator_disable(rockchip->vpcie0v9); in rockchip_pcie_suspend_noirq()
896 struct rockchip_pcie *rockchip = dev_get_drvdata(dev); in rockchip_pcie_resume_noirq() local
899 err = regulator_enable(rockchip->vpcie0v9); in rockchip_pcie_resume_noirq()
905 err = rockchip_pcie_enable_clocks(rockchip); in rockchip_pcie_resume_noirq()
909 err = rockchip_pcie_host_init_port(rockchip); in rockchip_pcie_resume_noirq()
913 err = rockchip_pcie_cfg_atu(rockchip); in rockchip_pcie_resume_noirq()
918 rockchip_pcie_update_txcredit_mui(rockchip); in rockchip_pcie_resume_noirq()
919 rockchip_pcie_enable_interrupts(rockchip); in rockchip_pcie_resume_noirq()
924 rockchip_pcie_deinit_phys(rockchip); in rockchip_pcie_resume_noirq()
926 rockchip_pcie_disable_clocks(rockchip); in rockchip_pcie_resume_noirq()
928 regulator_disable(rockchip->vpcie0v9); in rockchip_pcie_resume_noirq()
934 struct rockchip_pcie *rockchip; in rockchip_pcie_probe() local
942 bridge = devm_pci_alloc_host_bridge(dev, sizeof(*rockchip)); in rockchip_pcie_probe()
946 rockchip = pci_host_bridge_priv(bridge); in rockchip_pcie_probe()
948 platform_set_drvdata(pdev, rockchip); in rockchip_pcie_probe()
949 rockchip->dev = dev; in rockchip_pcie_probe()
950 rockchip->is_rc = true; in rockchip_pcie_probe()
952 err = rockchip_pcie_parse_host_dt(rockchip); in rockchip_pcie_probe()
956 err = rockchip_pcie_enable_clocks(rockchip); in rockchip_pcie_probe()
960 err = rockchip_pcie_set_vpcie(rockchip); in rockchip_pcie_probe()
966 err = rockchip_pcie_host_init_port(rockchip); in rockchip_pcie_probe()
970 err = rockchip_pcie_init_irq_domain(rockchip); in rockchip_pcie_probe()
974 err = rockchip_pcie_cfg_atu(rockchip); in rockchip_pcie_probe()
978 rockchip->msg_region = devm_ioremap(dev, rockchip->msg_bus_addr, SZ_1M); in rockchip_pcie_probe()
979 if (!rockchip->msg_region) { in rockchip_pcie_probe()
984 bridge->sysdata = rockchip; in rockchip_pcie_probe()
987 err = rockchip_pcie_setup_irq(rockchip); in rockchip_pcie_probe()
991 rockchip_pcie_enable_interrupts(rockchip); in rockchip_pcie_probe()
1000 irq_domain_remove(rockchip->irq_domain); in rockchip_pcie_probe()
1002 rockchip_pcie_deinit_phys(rockchip); in rockchip_pcie_probe()
1004 if (!IS_ERR(rockchip->vpcie12v)) in rockchip_pcie_probe()
1005 regulator_disable(rockchip->vpcie12v); in rockchip_pcie_probe()
1006 if (!IS_ERR(rockchip->vpcie3v3)) in rockchip_pcie_probe()
1007 regulator_disable(rockchip->vpcie3v3); in rockchip_pcie_probe()
1008 regulator_disable(rockchip->vpcie1v8); in rockchip_pcie_probe()
1009 regulator_disable(rockchip->vpcie0v9); in rockchip_pcie_probe()
1011 rockchip_pcie_disable_clocks(rockchip); in rockchip_pcie_probe()
1018 struct rockchip_pcie *rockchip = dev_get_drvdata(dev); in rockchip_pcie_remove() local
1019 struct pci_host_bridge *bridge = pci_host_bridge_from_priv(rockchip); in rockchip_pcie_remove()
1023 irq_domain_remove(rockchip->irq_domain); in rockchip_pcie_remove()
1025 rockchip_pcie_deinit_phys(rockchip); in rockchip_pcie_remove()
1027 rockchip_pcie_disable_clocks(rockchip); in rockchip_pcie_remove()
1029 if (!IS_ERR(rockchip->vpcie12v)) in rockchip_pcie_remove()
1030 regulator_disable(rockchip->vpcie12v); in rockchip_pcie_remove()
1031 if (!IS_ERR(rockchip->vpcie3v3)) in rockchip_pcie_remove()
1032 regulator_disable(rockchip->vpcie3v3); in rockchip_pcie_remove()
1033 regulator_disable(rockchip->vpcie1v8); in rockchip_pcie_remove()
1034 regulator_disable(rockchip->vpcie0v9); in rockchip_pcie_remove()
1045 { .compatible = "rockchip,rk3399-pcie", },
1052 .name = "rockchip-pcie",
1061 MODULE_AUTHOR("Rockchip Inc");
1062 MODULE_DESCRIPTION("Rockchip AXI PCIe driver");