Lines Matching refs:io_wq

470 	struct io_wq		*io_wq;  member
1453 BUG_ON(!tctx->io_wq); in io_queue_async_work()
1470 io_wq_enqueue(tctx->io_wq, &req->work); in io_queue_async_work()
6236 if (!tctx || !tctx->io_wq) in io_async_cancel_one()
6239 cancel_ret = io_wq_cancel_cb(tctx->io_wq, io_cancel_cb, &data, false); in io_async_cancel_one()
8526 static struct io_wq *io_init_wq_offload(struct io_ring_ctx *ctx, in io_init_wq_offload()
8574 tctx->io_wq = io_init_wq_offload(ctx, task); in io_uring_alloc_task_context()
8575 if (IS_ERR(tctx->io_wq)) { in io_uring_alloc_task_context()
8576 ret = PTR_ERR(tctx->io_wq); in io_uring_alloc_task_context()
8598 WARN_ON_ONCE(tctx->io_wq); in __io_uring_free()
9404 if (tsk && tsk->io_uring && tsk->io_uring->io_wq) in io_ring_exit_work()
9405 io_wq_cancel_cb(tsk->io_uring->io_wq, in io_ring_exit_work()
9575 if (!tctx || !tctx->io_wq) in io_uring_try_cancel_iowq()
9577 cret = io_wq_cancel_cb(tctx->io_wq, io_cancel_ctx_cb, ctx, true); in io_uring_try_cancel_iowq()
9598 } else if (tctx && tctx->io_wq) { in io_uring_try_cancel_requests()
9603 cret = io_wq_cancel_cb(tctx->io_wq, io_cancel_task_cb, in io_uring_try_cancel_requests()
9644 ret = io_wq_max_workers(tctx->io_wq, limits); in __io_uring_add_tctx_node()
9711 struct io_wq *wq = tctx->io_wq; in io_uring_clean_tctx()
9725 tctx->io_wq = NULL; in io_uring_clean_tctx()
9763 if (tctx->io_wq) in io_uring_cancel_generic()
9764 io_wq_exit_start(tctx->io_wq); in io_uring_cancel_generic()
10620 if (!tctx || !tctx->io_wq) in io_register_iowq_aff()
10635 ret = io_wq_cpu_affinity(tctx->io_wq, new_mask); in io_register_iowq_aff()
10644 if (!tctx || !tctx->io_wq) in io_unregister_iowq_aff()
10647 return io_wq_cpu_affinity(tctx->io_wq, NULL); in io_unregister_iowq_aff()
10691 if (tctx && tctx->io_wq) { in io_register_iowq_max_workers()
10692 ret = io_wq_max_workers(tctx->io_wq, new_count); in io_register_iowq_max_workers()
10715 if (WARN_ON_ONCE(!tctx->io_wq)) in io_register_iowq_max_workers()
10721 (void)io_wq_max_workers(tctx->io_wq, new_count); in io_register_iowq_max_workers()