63 static int iscsi_tcp_hdr_recv_done(struct iscsi_tcp_conn *tcp_conn,
190 int iscsi_tcp_segment_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_segment_done()  argument
197 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "copied %u %u size %u %s\n",  in iscsi_tcp_segment_done()
233 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "total copied %u total size %u\n",  in iscsi_tcp_segment_done()
245 	if (!(tcp_conn->iscsi_conn->session->tt->caps & CAP_PADDING_OFFLOAD)) {  in iscsi_tcp_segment_done()
248 			ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_segment_done()
292 iscsi_tcp_segment_recv(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_segment_recv()  argument
298 	while (!iscsi_tcp_segment_done(tcp_conn, segment, 1, copy)) {  in iscsi_tcp_segment_recv()
300 			ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_segment_recv()
306 		ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "copying %d\n", copy);  in iscsi_tcp_segment_recv()
326 iscsi_tcp_dgst_verify(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_dgst_verify()  argument
334 		ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "digest mismatch\n");  in iscsi_tcp_dgst_verify()
400 void iscsi_tcp_hdr_recv_prep(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_hdr_recv_prep()  argument
402 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_hdr_recv_prep()
403 		      "(%s)\n", tcp_conn->iscsi_conn->hdrdgst_en ?  in iscsi_tcp_hdr_recv_prep()
405 	iscsi_segment_init_linear(&tcp_conn->in.segment,  in iscsi_tcp_hdr_recv_prep()
406 				tcp_conn->in.hdr_buf, sizeof(struct iscsi_hdr),  in iscsi_tcp_hdr_recv_prep()
415 iscsi_tcp_data_recv_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_data_recv_done()  argument
418 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_data_recv_done()
421 	if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_data_recv_done()
424 	rc = iscsi_complete_pdu(conn, tcp_conn->in.hdr,  in iscsi_tcp_data_recv_done()
425 			conn->data, tcp_conn->in.datalen);  in iscsi_tcp_data_recv_done()
429 	iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_data_recv_done()
434 iscsi_tcp_data_recv_prep(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_data_recv_prep()  argument
436 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_data_recv_prep()
441 		rx_hash = tcp_conn->rx_hash;  in iscsi_tcp_data_recv_prep()
443 	iscsi_segment_init_linear(&tcp_conn->in.segment,  in iscsi_tcp_data_recv_prep()
444 				conn->data, tcp_conn->in.datalen,  in iscsi_tcp_data_recv_prep()
488 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_data_in()  local
490 	struct iscsi_data_rsp *rhdr = (struct iscsi_data_rsp *)tcp_conn->in.hdr;  in iscsi_tcp_data_in()
501 	if (tcp_conn->in.datalen == 0)  in iscsi_tcp_data_in()
513 	if (tcp_task->data_offset + tcp_conn->in.datalen > total_in_length) {  in iscsi_tcp_data_in()
516 			      tcp_conn->in.datalen, total_in_length);  in iscsi_tcp_data_in()
533 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_r2t_rsp()  local
534 	struct iscsi_r2t_rsp *rhdr = (struct iscsi_r2t_rsp *)tcp_conn->in.hdr;  in iscsi_tcp_r2t_rsp()
541 	if (tcp_conn->in.datalen) {  in iscsi_tcp_r2t_rsp()
544 				  tcp_conn->in.datalen);  in iscsi_tcp_r2t_rsp()
616 iscsi_tcp_process_data_in(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_process_data_in()  argument
619 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_process_data_in()
620 	struct iscsi_hdr *hdr = tcp_conn->in.hdr;  in iscsi_tcp_process_data_in()
623 	if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_process_data_in()
628 		rc = iscsi_complete_pdu(conn, tcp_conn->in.hdr, NULL, 0);  in iscsi_tcp_process_data_in()
633 	iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_process_data_in()
651 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_hdr_dissect()  local
655 	tcp_conn->in.datalen = ntoh24(hdr->dlength);  in iscsi_tcp_hdr_dissect()
656 	if (tcp_conn->in.datalen > conn->max_recv_dlength) {  in iscsi_tcp_hdr_dissect()
659 				  tcp_conn->in.datalen, conn->max_recv_dlength);  in iscsi_tcp_hdr_dissect()
675 		      opcode, ahslen, tcp_conn->in.datalen);  in iscsi_tcp_hdr_dissect()
690 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
705 				rx_hash = tcp_conn->rx_hash;  in iscsi_tcp_hdr_dissect()
710 				      tcp_conn->in.datalen);  in iscsi_tcp_hdr_dissect()
712 			rc = iscsi_segment_seek_sg(&tcp_conn->in.segment,  in iscsi_tcp_hdr_dissect()
716 						   tcp_conn->in.datalen,  in iscsi_tcp_hdr_dissect()
726 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
727 			iscsi_tcp_data_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
757 		if (ISCSI_DEF_MAX_RECV_SEG_LEN < tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
762 					  tcp_conn->in.datalen,  in iscsi_tcp_hdr_dissect()
771 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
772 			iscsi_tcp_data_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
789 		if (tcp_conn->in.datalen)  in iscsi_tcp_hdr_dissect()
791 		iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
807 iscsi_tcp_hdr_recv_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_hdr_recv_done()  argument
810 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_hdr_recv_done()
817 	hdr = (struct iscsi_hdr *) tcp_conn->in.hdr_buf;  in iscsi_tcp_hdr_recv_done()
825 		if (sizeof(*hdr) + ahslen > sizeof(tcp_conn->in.hdr_buf))  in iscsi_tcp_hdr_recv_done()
849 		iscsi_tcp_dgst_header(tcp_conn->rx_hash, hdr,  in iscsi_tcp_hdr_recv_done()
853 		if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_hdr_recv_done()
857 	tcp_conn->in.hdr = hdr;  in iscsi_tcp_hdr_recv_done()
868 inline int iscsi_tcp_recv_segment_is_hdr(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_recv_segment_is_hdr()  argument
870 	return tcp_conn->in.segment.done == iscsi_tcp_hdr_recv_done;  in iscsi_tcp_recv_segment_is_hdr()
888 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_recv_skb()  local
889 	struct iscsi_segment *segment = &tcp_conn->in.segment;  in iscsi_tcp_recv_skb()
929 		rc = iscsi_tcp_segment_recv(tcp_conn, segment, ptr, avail);  in iscsi_tcp_recv_skb()
942 	rc = segment->done(tcp_conn, segment);  in iscsi_tcp_recv_skb()
1096 	struct iscsi_tcp_conn *tcp_conn;  in iscsi_tcp_conn_setup()  local
1099 				    sizeof(*tcp_conn) + dd_data_size, conn_idx);  in iscsi_tcp_conn_setup()
1109 	tcp_conn = conn->dd_data;  in iscsi_tcp_conn_setup()
1110 	tcp_conn->iscsi_conn = conn;  in iscsi_tcp_conn_setup()
1111 	tcp_conn->dd_data = conn->dd_data + sizeof(*tcp_conn);  in iscsi_tcp_conn_setup()