230 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_check_wrptr()  local
234 		struct iwl_rxq *rxq = &trans_pcie->rxq[i];  in iwl_pcie_rxq_check_wrptr()
386 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_alloc_page()  local
390 	if (trans_pcie->rx_page_order > 0)  in iwl_pcie_rx_alloc_page()
394 	page = alloc_pages(gfp_mask, trans_pcie->rx_page_order);  in iwl_pcie_rx_alloc_page()
398 				       trans_pcie->rx_page_order);  in iwl_pcie_rx_alloc_page()
423 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_alloc_rbs()  local
444 			__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
457 				     PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rxq_alloc_rbs()
464 			__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
479 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_free_rbs_pool()  local
483 		if (!trans_pcie->rx_pool[i].page)  in iwl_pcie_free_rbs_pool()
485 		dma_unmap_page(trans->dev, trans_pcie->rx_pool[i].page_dma,  in iwl_pcie_free_rbs_pool()
486 			       PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_free_rbs_pool()
488 		__free_pages(trans_pcie->rx_pool[i].page,  in iwl_pcie_free_rbs_pool()
489 			     trans_pcie->rx_page_order);  in iwl_pcie_free_rbs_pool()
490 		trans_pcie->rx_pool[i].page = NULL;  in iwl_pcie_free_rbs_pool()
502 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_allocator()  local
503 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_allocator()
547 					PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rx_allocator()
551 				__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rx_allocator()
595 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_allocator_get()  local
596 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_allocator_get()
631 	struct iwl_trans_pcie *trans_pcie =  in iwl_pcie_rx_allocator_work()  local
634 	iwl_pcie_rx_allocator(trans_pcie->trans);  in iwl_pcie_rx_allocator_work()
698 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_alloc_rxq_dma()  local
770 		struct iwl_rxq *rxq = &trans_pcie->rxq[i];  in iwl_pcie_alloc_rxq_dma()
774 	kfree(trans_pcie->rxq);  in iwl_pcie_alloc_rxq_dma()
781 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_alloc()  local
782 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_alloc()
785 	if (WARN_ON(trans_pcie->rxq))  in iwl_pcie_rx_alloc()
788 	trans_pcie->rxq = kcalloc(trans->num_rx_queues, sizeof(struct iwl_rxq),  in iwl_pcie_rx_alloc()
790 	if (!trans_pcie->rxq)  in iwl_pcie_rx_alloc()
796 		struct iwl_rxq *rxq = &trans_pcie->rxq[i];  in iwl_pcie_rx_alloc()
807 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_hw_init()  local
812 	switch (trans_pcie->rx_buf_size) {  in iwl_pcie_rx_hw_init()
900 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_mq_hw_init()  local
905 	switch (trans_pcie->rx_buf_size) {  in iwl_pcie_rx_mq_hw_init()
935 					 trans_pcie->rxq[i].bd_dma);  in iwl_pcie_rx_mq_hw_init()
939 					 trans_pcie->rxq[i].used_bd_dma);  in iwl_pcie_rx_mq_hw_init()
943 					 trans_pcie->rxq[i].rb_stts_dma);  in iwl_pcie_rx_mq_hw_init()
1007 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in _iwl_pcie_rx_init()  local
1009 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in _iwl_pcie_rx_init()
1012 	if (!trans_pcie->rxq) {  in _iwl_pcie_rx_init()
1017 	def_rxq = trans_pcie->rxq;  in _iwl_pcie_rx_init()
1035 		struct iwl_rxq *rxq = &trans_pcie->rxq[i];  in _iwl_pcie_rx_init()
1055 			netif_napi_add(&trans_pcie->napi_dev, &rxq->napi,  in _iwl_pcie_rx_init()
1067 	BUILD_BUG_ON(ARRAY_SIZE(trans_pcie->global_table) !=  in _iwl_pcie_rx_init()
1068 		     ARRAY_SIZE(trans_pcie->rx_pool));  in _iwl_pcie_rx_init()
1070 		struct iwl_rx_mem_buffer *rxb = &trans_pcie->rx_pool[i];  in _iwl_pcie_rx_init()
1076 		trans_pcie->global_table[i] = rxb;  in _iwl_pcie_rx_init()
1088 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_init()  local
1097 		iwl_pcie_rx_hw_init(trans, trans_pcie->rxq);  in iwl_pcie_rx_init()
1099 	iwl_pcie_rxq_restock(trans, trans_pcie->rxq);  in iwl_pcie_rx_init()
1101 	spin_lock(&trans_pcie->rxq->lock);  in iwl_pcie_rx_init()
1102 	iwl_pcie_rxq_inc_wr_ptr(trans, trans_pcie->rxq);  in iwl_pcie_rx_init()
1103 	spin_unlock(&trans_pcie->rxq->lock);  in iwl_pcie_rx_init()
1119 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_free()  local
1120 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_free()
1127 	if (!trans_pcie->rxq) {  in iwl_pcie_rx_free()
1137 		struct iwl_rxq *rxq = &trans_pcie->rxq[i];  in iwl_pcie_rx_free()
1144 	kfree(trans_pcie->rxq);  in iwl_pcie_rx_free()
1157 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_reuse_rbd()  local
1158 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_reuse_rbd()
1192 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_handle_rb()  local
1193 	struct iwl_txq *txq = trans_pcie->txq[trans_pcie->cmd_queue];  in iwl_pcie_rx_handle_rb()
1195 	int max_len = PAGE_SIZE << trans_pcie->rx_page_order;  in iwl_pcie_rx_handle_rb()
1210 			._rx_page_order = trans_pcie->rx_page_order,  in iwl_pcie_rx_handle_rb()
1257 			for (i = 0; i < trans_pcie->n_no_reclaim_cmds; i++) {  in iwl_pcie_rx_handle_rb()
1258 				if (trans_pcie->no_reclaim_cmds[i] ==  in iwl_pcie_rx_handle_rb()
1306 		__free_pages(rxb->page, trans_pcie->rx_page_order);  in iwl_pcie_rx_handle_rb()
1316 				     PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rx_handle_rb()
1324 			__free_pages(rxb->page, trans_pcie->rx_page_order);  in iwl_pcie_rx_handle_rb()
1338 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_get_rxb()  local
1354 	if (!vid || vid > ARRAY_SIZE(trans_pcie->global_table))  in iwl_pcie_get_rxb()
1357 	rxb = trans_pcie->global_table[vid - 1];  in iwl_pcie_get_rxb()
1379 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_handle()  local
1380 	struct iwl_rxq *rxq = &trans_pcie->rxq[queue];  in iwl_pcie_rx_handle()
1424 			struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_handle()
1489 	struct iwl_trans_pcie *trans_pcie = iwl_pcie_get_trans_pcie(entry);  in iwl_pcie_irq_rx_msix_handler()  local
1490 	struct iwl_trans *trans = trans_pcie->trans;  in iwl_pcie_irq_rx_msix_handler()
1515 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_irq_handle_error()  local
1527 		wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handle_error()
1532 		if (!trans_pcie->txq[i])  in iwl_pcie_irq_handle_error()
1534 		del_timer(&trans_pcie->txq[i]->stuck_timer);  in iwl_pcie_irq_handle_error()
1542 	wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handle_error()
1575 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_int_cause_ict()  local
1585 	read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]);  in iwl_pcie_int_cause_ict()
1586 	trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index, read);  in iwl_pcie_int_cause_ict()
1597 				trans_pcie->ict_index, read);  in iwl_pcie_int_cause_ict()
1598 		trans_pcie->ict_tbl[trans_pcie->ict_index] = 0;  in iwl_pcie_int_cause_ict()
1599 		trans_pcie->ict_index =  in iwl_pcie_int_cause_ict()
1600 			((trans_pcie->ict_index + 1) & (ICT_COUNT - 1));  in iwl_pcie_int_cause_ict()
1602 		read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]);  in iwl_pcie_int_cause_ict()
1603 		trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index,  in iwl_pcie_int_cause_ict()
1627 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_handle_rfkill_irq()  local
1628 	struct isr_statistics *isr_stats = &trans_pcie->isr_stats;  in iwl_pcie_handle_rfkill_irq()
1631 	mutex_lock(&trans_pcie->mutex);  in iwl_pcie_handle_rfkill_irq()
1638 	if (trans_pcie->opmode_down)  in iwl_pcie_handle_rfkill_irq()
1650 	mutex_unlock(&trans_pcie->mutex);  in iwl_pcie_handle_rfkill_irq()
1657 		wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_handle_rfkill_irq()
1660 		if (trans_pcie->opmode_down)  in iwl_pcie_handle_rfkill_irq()
1668 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_irq_handler()  local
1669 	struct isr_statistics *isr_stats = &trans_pcie->isr_stats;  in iwl_pcie_irq_handler()
1675 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1680 	if (likely(trans_pcie->use_ict))  in iwl_pcie_irq_handler()
1688 			      inta, trans_pcie->inta_mask,  in iwl_pcie_irq_handler()
1691 		if (inta & (~trans_pcie->inta_mask))  in iwl_pcie_irq_handler()
1694 				      inta & (~trans_pcie->inta_mask));  in iwl_pcie_irq_handler()
1697 	inta &= trans_pcie->inta_mask;  in iwl_pcie_irq_handler()
1712 		spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1723 		spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1738 	iwl_write32(trans, CSR_INT, inta | ~trans_pcie->inta_mask);  in iwl_pcie_irq_handler()
1744 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1778 				iwl_pcie_rxmq_restock(trans, trans_pcie->rxq);  in iwl_pcie_irq_handler()
1875 		trans_pcie->ucode_write_complete = true;  in iwl_pcie_irq_handler()
1876 		wake_up(&trans_pcie->ucode_write_waitq);  in iwl_pcie_irq_handler()
1884 	if (inta & ~(trans_pcie->inta_mask)) {  in iwl_pcie_irq_handler()
1886 			 inta & ~trans_pcie->inta_mask);  in iwl_pcie_irq_handler()
1889 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1899 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1915 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_free_ict()  local
1917 	if (trans_pcie->ict_tbl) {  in iwl_pcie_free_ict()
1919 				  trans_pcie->ict_tbl,  in iwl_pcie_free_ict()
1920 				  trans_pcie->ict_tbl_dma);  in iwl_pcie_free_ict()
1921 		trans_pcie->ict_tbl = NULL;  in iwl_pcie_free_ict()
1922 		trans_pcie->ict_tbl_dma = 0;  in iwl_pcie_free_ict()
1933 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_alloc_ict()  local
1935 	trans_pcie->ict_tbl =  in iwl_pcie_alloc_ict()
1937 				   &trans_pcie->ict_tbl_dma,  in iwl_pcie_alloc_ict()
1939 	if (!trans_pcie->ict_tbl)  in iwl_pcie_alloc_ict()
1943 	if (WARN_ON(trans_pcie->ict_tbl_dma & (ICT_SIZE - 1))) {  in iwl_pcie_alloc_ict()
1956 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_reset_ict()  local
1959 	if (!trans_pcie->ict_tbl)  in iwl_pcie_reset_ict()
1962 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_reset_ict()
1965 	memset(trans_pcie->ict_tbl, 0, ICT_SIZE);  in iwl_pcie_reset_ict()
1967 	val = trans_pcie->ict_tbl_dma >> ICT_SHIFT;  in iwl_pcie_reset_ict()
1976 	trans_pcie->use_ict = true;  in iwl_pcie_reset_ict()
1977 	trans_pcie->ict_index = 0;  in iwl_pcie_reset_ict()
1978 	iwl_write32(trans, CSR_INT, trans_pcie->inta_mask);  in iwl_pcie_reset_ict()
1980 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_reset_ict()
1986 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_disable_ict()  local
1988 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_disable_ict()
1989 	trans_pcie->use_ict = false;  in iwl_pcie_disable_ict()
1990 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_disable_ict()
2018 	struct iwl_trans_pcie *trans_pcie = iwl_pcie_get_trans_pcie(entry);  in iwl_pcie_irq_msix_handler()  local
2019 	struct iwl_trans *trans = trans_pcie->trans;  in iwl_pcie_irq_msix_handler()
2020 	struct isr_statistics *isr_stats = &trans_pcie->isr_stats;  in iwl_pcie_irq_msix_handler()
2025 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_irq_msix_handler()
2033 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_msix_handler()
2048 	if ((trans_pcie->shared_vec_mask & IWL_SHARED_IRQ_NON_RX) &&  in iwl_pcie_irq_msix_handler()
2055 	if ((trans_pcie->shared_vec_mask & IWL_SHARED_IRQ_FIRST_RSS) &&  in iwl_pcie_irq_msix_handler()
2070 		trans_pcie->ucode_write_complete = true;  in iwl_pcie_irq_msix_handler()
2071 		wake_up(&trans_pcie->ucode_write_waitq);  in iwl_pcie_irq_msix_handler()
2098 			iwl_pcie_rxmq_restock(trans, trans_pcie->rxq);  in iwl_pcie_irq_msix_handler()