63 static int iscsi_tcp_hdr_recv_done(struct iscsi_tcp_conn *tcp_conn,
190 int iscsi_tcp_segment_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_segment_done()  argument
197 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "copied %u %u size %u %s\n",  in iscsi_tcp_segment_done()
233 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "total copied %u total size %u\n",  in iscsi_tcp_segment_done()
245 	if (!(tcp_conn->iscsi_conn->session->tt->caps & CAP_PADDING_OFFLOAD)) {  in iscsi_tcp_segment_done()
248 			ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_segment_done()
292 iscsi_tcp_segment_recv(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_segment_recv()  argument
298 	while (!iscsi_tcp_segment_done(tcp_conn, segment, 1, copy)) {  in iscsi_tcp_segment_recv()
300 			ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_segment_recv()
306 		ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "copying %d\n", copy);  in iscsi_tcp_segment_recv()
326 iscsi_tcp_dgst_verify(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_dgst_verify()  argument
334 		ISCSI_DBG_TCP(tcp_conn->iscsi_conn, "digest mismatch\n");  in iscsi_tcp_dgst_verify()
400 void iscsi_tcp_hdr_recv_prep(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_hdr_recv_prep()  argument
402 	ISCSI_DBG_TCP(tcp_conn->iscsi_conn,  in iscsi_tcp_hdr_recv_prep()
403 		      "(%s)\n", tcp_conn->iscsi_conn->hdrdgst_en ?  in iscsi_tcp_hdr_recv_prep()
405 	iscsi_segment_init_linear(&tcp_conn->in.segment,  in iscsi_tcp_hdr_recv_prep()
406 				tcp_conn->in.hdr_buf, sizeof(struct iscsi_hdr),  in iscsi_tcp_hdr_recv_prep()
415 iscsi_tcp_data_recv_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_data_recv_done()  argument
418 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_data_recv_done()
421 	if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_data_recv_done()
424 	rc = iscsi_complete_pdu(conn, tcp_conn->in.hdr,  in iscsi_tcp_data_recv_done()
425 			conn->data, tcp_conn->in.datalen);  in iscsi_tcp_data_recv_done()
429 	iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_data_recv_done()
434 iscsi_tcp_data_recv_prep(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_data_recv_prep()  argument
436 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_data_recv_prep()
441 		rx_hash = tcp_conn->rx_hash;  in iscsi_tcp_data_recv_prep()
443 	iscsi_segment_init_linear(&tcp_conn->in.segment,  in iscsi_tcp_data_recv_prep()
444 				conn->data, tcp_conn->in.datalen,  in iscsi_tcp_data_recv_prep()
488 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_data_in()  local
490 	struct iscsi_data_rsp *rhdr = (struct iscsi_data_rsp *)tcp_conn->in.hdr;  in iscsi_tcp_data_in()
501 	if (tcp_conn->in.datalen == 0)  in iscsi_tcp_data_in()
513 	if (tcp_task->data_offset + tcp_conn->in.datalen > total_in_length) {  in iscsi_tcp_data_in()
516 			      tcp_conn->in.datalen, total_in_length);  in iscsi_tcp_data_in()
533 	struct iscsi_tcp_conn *tcp_conn;  in iscsi_tcp_r2t_rsp()  local
567 	tcp_conn = conn->dd_data;  in iscsi_tcp_r2t_rsp()
568 	rhdr = (struct iscsi_r2t_rsp *)tcp_conn->in.hdr;  in iscsi_tcp_r2t_rsp()
573 	if (tcp_conn->in.datalen) {  in iscsi_tcp_r2t_rsp()
576 				  tcp_conn->in.datalen);  in iscsi_tcp_r2t_rsp()
657 iscsi_tcp_process_data_in(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_process_data_in()  argument
660 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_process_data_in()
661 	struct iscsi_hdr *hdr = tcp_conn->in.hdr;  in iscsi_tcp_process_data_in()
664 	if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_process_data_in()
669 		rc = iscsi_complete_pdu(conn, tcp_conn->in.hdr, NULL, 0);  in iscsi_tcp_process_data_in()
674 	iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_process_data_in()
692 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_hdr_dissect()  local
696 	tcp_conn->in.datalen = ntoh24(hdr->dlength);  in iscsi_tcp_hdr_dissect()
697 	if (tcp_conn->in.datalen > conn->max_recv_dlength) {  in iscsi_tcp_hdr_dissect()
700 				  tcp_conn->in.datalen, conn->max_recv_dlength);  in iscsi_tcp_hdr_dissect()
716 		      opcode, ahslen, tcp_conn->in.datalen);  in iscsi_tcp_hdr_dissect()
731 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
746 				rx_hash = tcp_conn->rx_hash;  in iscsi_tcp_hdr_dissect()
751 				      tcp_conn->in.datalen);  in iscsi_tcp_hdr_dissect()
753 			rc = iscsi_segment_seek_sg(&tcp_conn->in.segment,  in iscsi_tcp_hdr_dissect()
757 						   tcp_conn->in.datalen,  in iscsi_tcp_hdr_dissect()
767 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
768 			iscsi_tcp_data_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
789 		if (ISCSI_DEF_MAX_RECV_SEG_LEN < tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
794 					  tcp_conn->in.datalen,  in iscsi_tcp_hdr_dissect()
803 		if (tcp_conn->in.datalen) {  in iscsi_tcp_hdr_dissect()
804 			iscsi_tcp_data_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
821 		if (tcp_conn->in.datalen)  in iscsi_tcp_hdr_dissect()
823 		iscsi_tcp_hdr_recv_prep(tcp_conn);  in iscsi_tcp_hdr_dissect()
839 iscsi_tcp_hdr_recv_done(struct iscsi_tcp_conn *tcp_conn,  in iscsi_tcp_hdr_recv_done()  argument
842 	struct iscsi_conn *conn = tcp_conn->iscsi_conn;  in iscsi_tcp_hdr_recv_done()
849 	hdr = (struct iscsi_hdr *) tcp_conn->in.hdr_buf;  in iscsi_tcp_hdr_recv_done()
857 		if (sizeof(*hdr) + ahslen > sizeof(tcp_conn->in.hdr_buf))  in iscsi_tcp_hdr_recv_done()
881 		iscsi_tcp_dgst_header(tcp_conn->rx_hash, hdr,  in iscsi_tcp_hdr_recv_done()
885 		if (!iscsi_tcp_dgst_verify(tcp_conn, segment))  in iscsi_tcp_hdr_recv_done()
889 	tcp_conn->in.hdr = hdr;  in iscsi_tcp_hdr_recv_done()
900 inline int iscsi_tcp_recv_segment_is_hdr(struct iscsi_tcp_conn *tcp_conn)  in iscsi_tcp_recv_segment_is_hdr()  argument
902 	return tcp_conn->in.segment.done == iscsi_tcp_hdr_recv_done;  in iscsi_tcp_recv_segment_is_hdr()
920 	struct iscsi_tcp_conn *tcp_conn = conn->dd_data;  in iscsi_tcp_recv_skb()  local
921 	struct iscsi_segment *segment = &tcp_conn->in.segment;  in iscsi_tcp_recv_skb()
961 		rc = iscsi_tcp_segment_recv(tcp_conn, segment, ptr, avail);  in iscsi_tcp_recv_skb()
974 	rc = segment->done(tcp_conn, segment);  in iscsi_tcp_recv_skb()
1128 	struct iscsi_tcp_conn *tcp_conn;  in iscsi_tcp_conn_setup()  local
1131 				    sizeof(*tcp_conn) + dd_data_size, conn_idx);  in iscsi_tcp_conn_setup()
1141 	tcp_conn = conn->dd_data;  in iscsi_tcp_conn_setup()
1142 	tcp_conn->iscsi_conn = conn;  in iscsi_tcp_conn_setup()
1143 	tcp_conn->dd_data = conn->dd_data + sizeof(*tcp_conn);  in iscsi_tcp_conn_setup()