30 static struct xdbc_state xdbc;  variable
87 	xdbc.xhci_start = val64;  in xdbc_map_pci_mmio()
88 	xdbc.xhci_length = sz64;  in xdbc_map_pci_mmio()
149 	offset = xhci_find_next_ext_cap(xdbc.xhci_base, 0, XHCI_EXT_CAPS_LEGACY);  in xdbc_bios_handoff()
150 	val = readl(xdbc.xhci_base + offset);  in xdbc_bios_handoff()
153 		writel(val | XHCI_HC_OS_OWNED, xdbc.xhci_base + offset);  in xdbc_bios_handoff()
154 		timeout = handshake(xdbc.xhci_base + offset, XHCI_HC_BIOS_OWNED, 0, 5000, 10);  in xdbc_bios_handoff()
158 			writel(val & ~XHCI_HC_BIOS_OWNED, xdbc.xhci_base + offset);  in xdbc_bios_handoff()
163 	val = readl(xdbc.xhci_base + offset + XHCI_LEGACY_CONTROL_OFFSET);  in xdbc_bios_handoff()
166 	writel(val, xdbc.xhci_base + offset + XHCI_LEGACY_CONTROL_OFFSET);  in xdbc_bios_handoff()
203 	if (ring != &xdbc.evt_ring) {  in xdbc_reset_ring()
231 	xdbc_reset_ring(&xdbc.evt_ring);  in xdbc_mem_init()
232 	xdbc_reset_ring(&xdbc.in_ring);  in xdbc_mem_init()
233 	xdbc_reset_ring(&xdbc.out_ring);  in xdbc_mem_init()
234 	memset(xdbc.table_base, 0, PAGE_SIZE);  in xdbc_mem_init()
235 	memset(xdbc.out_buf, 0, PAGE_SIZE);  in xdbc_mem_init()
238 	xdbc.erst_size	= 16;  in xdbc_mem_init()
239 	xdbc.erst_base	= xdbc.table_base + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
240 	xdbc.erst_dma	= xdbc.table_dma + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
243 	entry = (struct xdbc_erst_entry *)xdbc.erst_base;  in xdbc_mem_init()
245 	entry->seg_addr		= cpu_to_le64(xdbc.evt_seg.dma);  in xdbc_mem_init()
250 	writel(1, &xdbc.xdbc_reg->ersts);  in xdbc_mem_init()
251 	xdbc_write64(xdbc.erst_dma, &xdbc.xdbc_reg->erstba);  in xdbc_mem_init()
252 	xdbc_write64(xdbc.evt_seg.dma, &xdbc.xdbc_reg->erdp);  in xdbc_mem_init()
255 	xdbc.dbcc_size	= 64 * 3;  in xdbc_mem_init()
256 	xdbc.dbcc_base	= xdbc.table_base + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
257 	xdbc.dbcc_dma	= xdbc.table_dma + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
262 	xdbc.string_size = sizeof(struct xdbc_strings);  in xdbc_mem_init()
263 	xdbc.string_base = xdbc.table_base + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
264 	xdbc.string_dma	 = xdbc.table_dma + index * XDBC_TABLE_ENTRY_SIZE;  in xdbc_mem_init()
265 	strings		 = (struct xdbc_strings *)xdbc.string_base;  in xdbc_mem_init()
305 	ctx = (struct xdbc_context *)xdbc.dbcc_base;  in xdbc_mem_init()
307 	ctx->info.string0	= cpu_to_le64(xdbc.string_dma);  in xdbc_mem_init()
308 	ctx->info.manufacturer	= cpu_to_le64(xdbc.string_dma + XDBC_MAX_STRING_LENGTH);  in xdbc_mem_init()
309 	ctx->info.product	= cpu_to_le64(xdbc.string_dma + XDBC_MAX_STRING_LENGTH * 2);  in xdbc_mem_init()
310 	ctx->info.serial	= cpu_to_le64(xdbc.string_dma + XDBC_MAX_STRING_LENGTH * 3);  in xdbc_mem_init()
314 	max_burst = DEBUG_MAX_BURST(readl(&xdbc.xdbc_reg->control));  in xdbc_mem_init()
319 	ep_out->deq		= cpu_to_le64(xdbc.out_seg.dma | xdbc.out_ring.cycle_state);  in xdbc_mem_init()
326 	ep_in->deq		= cpu_to_le64(xdbc.in_seg.dma | xdbc.in_ring.cycle_state);  in xdbc_mem_init()
329 	xdbc_write64(xdbc.dbcc_dma, &xdbc.xdbc_reg->dccp);  in xdbc_mem_init()
332 	writel(dev_info, &xdbc.xdbc_reg->devinfo1);  in xdbc_mem_init()
335 	writel(dev_info, &xdbc.xdbc_reg->devinfo2);  in xdbc_mem_init()
337 	xdbc.in_buf = xdbc.out_buf + XDBC_MAX_PACKET;  in xdbc_mem_init()
338 	xdbc.in_dma = xdbc.out_dma + XDBC_MAX_PACKET;  in xdbc_mem_init()
348 	cap_length = readl(xdbc.xhci_base) & 0xff;  in xdbc_do_reset_debug_port()
349 	ops_reg = xdbc.xhci_base + cap_length;  in xdbc_do_reset_debug_port()
366 		offset = xhci_find_next_ext_cap(xdbc.xhci_base, offset, XHCI_EXT_CAPS_PROTOCOL);  in xdbc_reset_debug_port()
370 		val = readl(xdbc.xhci_base + offset);  in xdbc_reset_debug_port()
374 		val = readl(xdbc.xhci_base + offset + 8);  in xdbc_reset_debug_port()
408 	writel(DOOR_BELL_TARGET(target), &xdbc.xdbc_reg->doorbell);  in xdbc_ring_doorbell()
416 	ctrl = readl(&xdbc.xdbc_reg->control);  in xdbc_start()
417 	writel(ctrl | CTRL_DBC_ENABLE | CTRL_PORT_ENABLE, &xdbc.xdbc_reg->control);  in xdbc_start()
418 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_ENABLE, CTRL_DBC_ENABLE, 100000, 100);  in xdbc_start()
425 	if (xdbc.vendor == PCI_VENDOR_ID_INTEL)  in xdbc_start()
429 	ret = handshake(&xdbc.xdbc_reg->portsc, PORTSC_CONN_STATUS, PORTSC_CONN_STATUS, 5000000, 100);  in xdbc_start()
436 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_RUN, CTRL_DBC_RUN, 5000000, 100);  in xdbc_start()
443 	status = readl(&xdbc.xdbc_reg->status);  in xdbc_start()
449 	xdbc.port_number = DCST_DEBUG_PORT(status);  in xdbc_start()
452 		   readl(&xdbc.xdbc_reg->control), xdbc.port_number);  in xdbc_start()
470 	if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED) ||  in xdbc_bulk_transfer()
471 	    !(xdbc.flags & XDBC_FLAGS_CONFIGURED) ||  in xdbc_bulk_transfer()
472 	    (!read && (xdbc.flags & XDBC_FLAGS_OUT_STALL)) ||  in xdbc_bulk_transfer()
473 	    (read && (xdbc.flags & XDBC_FLAGS_IN_STALL))) {  in xdbc_bulk_transfer()
475 		xdbc_trace("connection not ready, flags %08x\n", xdbc.flags);  in xdbc_bulk_transfer()
479 	ring = (read ? &xdbc.in_ring : &xdbc.out_ring);  in xdbc_bulk_transfer()
491 		memset(xdbc.in_buf, 0, XDBC_MAX_PACKET);  in xdbc_bulk_transfer()
492 		addr = xdbc.in_dma;  in xdbc_bulk_transfer()
493 		xdbc.flags |= XDBC_FLAGS_IN_PROCESS;  in xdbc_bulk_transfer()
495 		memset(xdbc.out_buf, 0, XDBC_MAX_PACKET);  in xdbc_bulk_transfer()
496 		memcpy(xdbc.out_buf, data, size);  in xdbc_bulk_transfer()
497 		addr = xdbc.out_dma;  in xdbc_bulk_transfer()
498 		xdbc.flags |= XDBC_FLAGS_OUT_PROCESS;  in xdbc_bulk_transfer()
522 	xdbc.flags = 0;  in xdbc_handle_external_reset()
523 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_handle_external_reset()
524 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_ENABLE, 0, 100000, 10);  in xdbc_handle_external_reset()
536 	xdbc.flags |= XDBC_FLAGS_INITIALIZED | XDBC_FLAGS_CONFIGURED;  in xdbc_handle_external_reset()
551 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_early_setup()
552 	ret = handshake(&xdbc.xdbc_reg->control, CTRL_DBC_ENABLE, 0, 100000, 100);  in xdbc_early_setup()
557 	xdbc.table_base = xdbc_get_page(&xdbc.table_dma);  in xdbc_early_setup()
558 	if (!xdbc.table_base)  in xdbc_early_setup()
562 	xdbc.out_buf = xdbc_get_page(&xdbc.out_dma);  in xdbc_early_setup()
563 	if (!xdbc.out_buf)  in xdbc_early_setup()
567 	ret = xdbc_alloc_ring(&xdbc.evt_seg, &xdbc.evt_ring);  in xdbc_early_setup()
572 	ret = xdbc_alloc_ring(&xdbc.in_seg, &xdbc.in_ring);  in xdbc_early_setup()
576 	ret = xdbc_alloc_ring(&xdbc.out_seg, &xdbc.out_ring);  in xdbc_early_setup()
584 		writel(0, &xdbc.xdbc_reg->control);  in xdbc_early_setup()
588 	xdbc.flags |= XDBC_FLAGS_INITIALIZED | XDBC_FLAGS_CONFIGURED;  in xdbc_early_setup()
607 	if (xdbc.xdbc_reg)  in early_xdbc_parse_parameter()
622 	xdbc.vendor	= read_pci_config_16(bus, dev, func, PCI_VENDOR_ID);  in early_xdbc_parse_parameter()
623 	xdbc.device	= read_pci_config_16(bus, dev, func, PCI_DEVICE_ID);  in early_xdbc_parse_parameter()
624 	xdbc.bus	= bus;  in early_xdbc_parse_parameter()
625 	xdbc.dev	= dev;  in early_xdbc_parse_parameter()
626 	xdbc.func	= func;  in early_xdbc_parse_parameter()
629 	xdbc.xhci_base = xdbc_map_pci_mmio(bus, dev, func);  in early_xdbc_parse_parameter()
630 	if (!xdbc.xhci_base)  in early_xdbc_parse_parameter()
634 	offset = xhci_find_next_ext_cap(xdbc.xhci_base, 0, XHCI_EXT_CAPS_DEBUG);  in early_xdbc_parse_parameter()
637 		early_iounmap(xdbc.xhci_base, xdbc.xhci_length);  in early_xdbc_parse_parameter()
638 		xdbc.xhci_base = NULL;  in early_xdbc_parse_parameter()
639 		xdbc.xhci_length = 0;  in early_xdbc_parse_parameter()
643 	xdbc.xdbc_reg = (struct xdbc_regs __iomem *)(xdbc.xhci_base + offset);  in early_xdbc_parse_parameter()
652 	if (!xdbc.xdbc_reg)  in early_xdbc_setup_hardware()
657 	raw_spin_lock_init(&xdbc.lock);  in early_xdbc_setup_hardware()
663 		xdbc_free_ring(&xdbc.evt_ring);  in early_xdbc_setup_hardware()
664 		xdbc_free_ring(&xdbc.out_ring);  in early_xdbc_setup_hardware()
665 		xdbc_free_ring(&xdbc.in_ring);  in early_xdbc_setup_hardware()
667 		if (xdbc.table_dma)  in early_xdbc_setup_hardware()
668 			memblock_free(xdbc.table_dma, PAGE_SIZE);  in early_xdbc_setup_hardware()
670 		if (xdbc.out_dma)  in early_xdbc_setup_hardware()
671 			memblock_free(xdbc.out_dma, PAGE_SIZE);  in early_xdbc_setup_hardware()
673 		xdbc.table_base = NULL;  in early_xdbc_setup_hardware()
674 		xdbc.out_buf = NULL;  in early_xdbc_setup_hardware()
684 	port_reg = readl(&xdbc.xdbc_reg->portsc);  in xdbc_handle_port_status()
690 			xdbc.flags = 0;  in xdbc_handle_port_status()
705 	writel(port_reg, &xdbc.xdbc_reg->portsc);  in xdbc_handle_port_status()
726 			xdbc.flags |= XDBC_FLAGS_OUT_STALL;  in xdbc_handle_tx_event()
728 			xdbc.flags |= XDBC_FLAGS_IN_STALL;  in xdbc_handle_tx_event()
735 		xdbc.flags &= ~XDBC_FLAGS_IN_PROCESS;  in xdbc_handle_tx_event()
738 		xdbc.flags &= ~XDBC_FLAGS_OUT_PROCESS;  in xdbc_handle_tx_event()
751 	cmd = read_pci_config_byte(xdbc.bus, xdbc.dev, xdbc.func, PCI_COMMAND);  in xdbc_handle_events()
754 		write_pci_config_byte(xdbc.bus, xdbc.dev, xdbc.func, PCI_COMMAND, cmd);  in xdbc_handle_events()
757 	if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED))  in xdbc_handle_events()
761 	reg = readl(&xdbc.xdbc_reg->control);  in xdbc_handle_events()
770 	reg = readl(&xdbc.xdbc_reg->control);  in xdbc_handle_events()
772 		writel(reg, &xdbc.xdbc_reg->control);  in xdbc_handle_events()
774 			xdbc.flags |= XDBC_FLAGS_CONFIGURED;  in xdbc_handle_events()
776 			xdbc.flags &= ~XDBC_FLAGS_CONFIGURED;  in xdbc_handle_events()
780 	reg = readl(&xdbc.xdbc_reg->control);  in xdbc_handle_events()
782 		xdbc.flags |= XDBC_FLAGS_IN_STALL;  in xdbc_handle_events()
784 		xdbc.flags &= ~XDBC_FLAGS_IN_STALL;  in xdbc_handle_events()
785 		if (!(xdbc.flags & XDBC_FLAGS_IN_PROCESS))  in xdbc_handle_events()
790 		xdbc.flags |= XDBC_FLAGS_OUT_STALL;  in xdbc_handle_events()
792 		xdbc.flags &= ~XDBC_FLAGS_OUT_STALL;  in xdbc_handle_events()
795 	evt_trb = xdbc.evt_ring.dequeue;  in xdbc_handle_events()
796 	while ((le32_to_cpu(evt_trb->field[3]) & TRB_CYCLE) == xdbc.evt_ring.cycle_state) {  in xdbc_handle_events()
814 		++(xdbc.evt_ring.dequeue);  in xdbc_handle_events()
815 		if (xdbc.evt_ring.dequeue == &xdbc.evt_seg.trbs[TRBS_PER_SEGMENT]) {  in xdbc_handle_events()
816 			xdbc.evt_ring.dequeue = xdbc.evt_seg.trbs;  in xdbc_handle_events()
817 			xdbc.evt_ring.cycle_state ^= 1;  in xdbc_handle_events()
820 		evt_trb = xdbc.evt_ring.dequeue;  in xdbc_handle_events()
826 		xdbc_write64(__pa(xdbc.evt_ring.dequeue), &xdbc.xdbc_reg->erdp);  in xdbc_handle_events()
836 		if (!raw_spin_trylock_irqsave(&xdbc.lock, flags))  in xdbc_bulk_write()
839 		raw_spin_lock_irqsave(&xdbc.lock, flags);  in xdbc_bulk_write()
845 	if ((xdbc.flags & XDBC_FLAGS_OUT_PROCESS) && (timeout < 2000000)) {  in xdbc_bulk_write()
846 		raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_bulk_write()
852 	if (xdbc.flags & XDBC_FLAGS_OUT_PROCESS) {  in xdbc_bulk_write()
853 		raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_bulk_write()
860 	raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_bulk_write()
871 	if (!xdbc.xdbc_reg)  in early_xdbc_write()
929 		raw_spin_lock_irqsave(&xdbc.lock, flags);  in xdbc_scrub_function()
932 		if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED)) {  in xdbc_scrub_function()
933 			raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_scrub_function()
937 		raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_scrub_function()
942 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_scrub_function()
955 	if (!(xdbc.flags & XDBC_FLAGS_INITIALIZED))  in xdbc_init()
968 	base = ioremap(xdbc.xhci_start, xdbc.xhci_length);  in xdbc_init()
975 	raw_spin_lock_irqsave(&xdbc.lock, flags);  in xdbc_init()
976 	early_iounmap(xdbc.xhci_base, xdbc.xhci_length);  in xdbc_init()
977 	xdbc.xhci_base = base;  in xdbc_init()
978 	offset = xhci_find_next_ext_cap(xdbc.xhci_base, 0, XHCI_EXT_CAPS_DEBUG);  in xdbc_init()
979 	xdbc.xdbc_reg = (struct xdbc_regs __iomem *)(xdbc.xhci_base + offset);  in xdbc_init()
980 	raw_spin_unlock_irqrestore(&xdbc.lock, flags);  in xdbc_init()
987 	xdbc_free_ring(&xdbc.evt_ring);  in xdbc_init()
988 	xdbc_free_ring(&xdbc.out_ring);  in xdbc_init()
989 	xdbc_free_ring(&xdbc.in_ring);  in xdbc_init()
990 	memblock_free(xdbc.table_dma, PAGE_SIZE);  in xdbc_init()
991 	memblock_free(xdbc.out_dma, PAGE_SIZE);  in xdbc_init()
992 	writel(0, &xdbc.xdbc_reg->control);  in xdbc_init()
993 	early_iounmap(xdbc.xhci_base, xdbc.xhci_length);  in xdbc_init()