235  * For the user cases we used to use the %asi register, but
236  * it turns out that the "wr xxx, %asi" costs ~5 cycles, so
237  * now we use immediate ASI loads and stores instead.  Kudos
297 #define SPILL_1_GENERIC(ASI)				\  argument
299 	stxa	%l0, [%g1 + %g0] ASI;			\
301 	stxa	%l1, [%g1 + %g3] ASI;			\
303 	stxa	%l2, [%g1 + %g0] ASI;			\
304 	stxa	%l3, [%g1 + %g3] ASI;			\
306 	stxa	%l4, [%g1 + %g0] ASI;			\
307 	stxa	%l5, [%g1 + %g3] ASI;			\
309 	stxa	%l6, [%g1 + %g0] ASI;			\
310 	stxa	%l7, [%g1 + %g3] ASI;			\
312 	stxa	%i0, [%g1 + %g0] ASI;			\
313 	stxa	%i1, [%g1 + %g3] ASI;			\
315 	stxa	%i2, [%g1 + %g0] ASI;			\
316 	stxa	%i3, [%g1 + %g3] ASI;			\
318 	stxa	%i4, [%g1 + %g0] ASI;			\
319 	stxa	%i5, [%g1 + %g3] ASI;			\
321 	stxa	%i6, [%g1 + %g0] ASI;			\
322 	stxa	%i7, [%g1 + %g3] ASI;			\
331 	stxa	%l0, [%sp + STACK_BIAS + 0x00] %asi;	\
332 	stxa	%l1, [%sp + STACK_BIAS + 0x08] %asi;	\
333 	stxa	%l2, [%sp + STACK_BIAS + 0x10] %asi;	\
334 	stxa	%l3, [%sp + STACK_BIAS + 0x18] %asi;	\
335 	stxa	%l4, [%sp + STACK_BIAS + 0x20] %asi;	\
336 	stxa	%l5, [%sp + STACK_BIAS + 0x28] %asi;	\
337 	stxa	%l6, [%sp + STACK_BIAS + 0x30] %asi;	\
338 	stxa	%l7, [%sp + STACK_BIAS + 0x38] %asi;	\
339 	stxa	%i0, [%sp + STACK_BIAS + 0x40] %asi;	\
340 	stxa	%i1, [%sp + STACK_BIAS + 0x48] %asi;	\
341 	stxa	%i2, [%sp + STACK_BIAS + 0x50] %asi;	\
342 	stxa	%i3, [%sp + STACK_BIAS + 0x58] %asi;	\
343 	stxa	%i4, [%sp + STACK_BIAS + 0x60] %asi;	\
344 	stxa	%i5, [%sp + STACK_BIAS + 0x68] %asi;	\
345 	stxa	%i6, [%sp + STACK_BIAS + 0x70] %asi;	\
346 	stxa	%i7, [%sp + STACK_BIAS + 0x78] %asi;	\
391 #define SPILL_2_GENERIC(ASI)				\  argument
395 	stwa	%l0, [%sp + %g0] ASI;			\
397 	stwa	%l1, [%sp + %g3] ASI;			\
399 	stwa	%l2, [%g1 + %g0] ASI;			\
400 	stwa	%l3, [%g1 + %g3] ASI;			\
402 	stwa	%l4, [%g1 + %g0] ASI;			\
403 	stwa	%l5, [%g1 + %g3] ASI;			\
405 	stwa	%l6, [%g1 + %g0] ASI;			\
406 	stwa	%l7, [%g1 + %g3] ASI;			\
408 	stwa	%i0, [%g1 + %g0] ASI;			\
409 	stwa	%i1, [%g1 + %g3] ASI;			\
411 	stwa	%i2, [%g1 + %g0] ASI;			\
412 	stwa	%i3, [%g1 + %g3] ASI;			\
414 	stwa	%i4, [%g1 + %g0] ASI;			\
415 	stwa	%i5, [%g1 + %g3] ASI;			\
417 	stwa	%i6, [%g1 + %g0] ASI;			\
418 	stwa	%i7, [%g1 + %g3] ASI;			\
430 	stwa	%l0, [%sp + 0x00] %asi;	\
431 	stwa	%l1, [%sp + 0x04] %asi;	\
432 	stwa	%l2, [%sp + 0x08] %asi;	\
433 	stwa	%l3, [%sp + 0x0c] %asi;	\
434 	stwa	%l4, [%sp + 0x10] %asi;	\
435 	stwa	%l5, [%sp + 0x14] %asi;	\
436 	stwa	%l6, [%sp + 0x18] %asi;	\
437 	stwa	%l7, [%sp + 0x1c] %asi;	\
438 	stwa	%i0, [%sp + 0x20] %asi;	\
439 	stwa	%i1, [%sp + 0x24] %asi;	\
440 	stwa	%i2, [%sp + 0x28] %asi;	\
441 	stwa	%i3, [%sp + 0x2c] %asi;	\
442 	stwa	%i4, [%sp + 0x30] %asi;	\
443 	stwa	%i5, [%sp + 0x34] %asi;	\
444 	stwa	%i6, [%sp + 0x38] %asi;	\
445 	stwa	%i7, [%sp + 0x3c] %asi;	\
557 #define FILL_1_GENERIC(ASI)				\  argument
559 	ldxa	[%g1 + %g0] ASI, %l0;			\
562 	ldxa	[%g1 + %g2] ASI, %l1;			\
564 	ldxa	[%g1 + %g3] ASI, %l2;			\
565 	ldxa	[%g1 + %g5] ASI, %l3;			\
567 	ldxa	[%g1 + %g0] ASI, %l4;			\
568 	ldxa	[%g1 + %g2] ASI, %l5;			\
569 	ldxa	[%g1 + %g3] ASI, %l6;			\
570 	ldxa	[%g1 + %g5] ASI, %l7;			\
572 	ldxa	[%g1 + %g0] ASI, %i0;			\
573 	ldxa	[%g1 + %g2] ASI, %i1;			\
574 	ldxa	[%g1 + %g3] ASI, %i2;			\
575 	ldxa	[%g1 + %g5] ASI, %i3;			\
577 	ldxa	[%g1 + %g0] ASI, %i4;			\
578 	ldxa	[%g1 + %g2] ASI, %i5;			\
579 	ldxa	[%g1 + %g3] ASI, %i6;			\
580 	ldxa	[%g1 + %g5] ASI, %i7;			\
589 	ldxa	[%sp + STACK_BIAS + 0x00] %asi, %l0;	\
590 	ldxa	[%sp + STACK_BIAS + 0x08] %asi, %l1;	\
591 	ldxa	[%sp + STACK_BIAS + 0x10] %asi, %l2;	\
592 	ldxa	[%sp + STACK_BIAS + 0x18] %asi, %l3;	\
593 	ldxa	[%sp + STACK_BIAS + 0x20] %asi, %l4;	\
594 	ldxa	[%sp + STACK_BIAS + 0x28] %asi, %l5;	\
595 	ldxa	[%sp + STACK_BIAS + 0x30] %asi, %l6;	\
596 	ldxa	[%sp + STACK_BIAS + 0x38] %asi, %l7;	\
597 	ldxa	[%sp + STACK_BIAS + 0x40] %asi, %i0;	\
598 	ldxa	[%sp + STACK_BIAS + 0x48] %asi, %i1;	\
599 	ldxa	[%sp + STACK_BIAS + 0x50] %asi, %i2;	\
600 	ldxa	[%sp + STACK_BIAS + 0x58] %asi, %i3;	\
601 	ldxa	[%sp + STACK_BIAS + 0x60] %asi, %i4;	\
602 	ldxa	[%sp + STACK_BIAS + 0x68] %asi, %i5;	\
603 	ldxa	[%sp + STACK_BIAS + 0x70] %asi, %i6;	\
604 	ldxa	[%sp + STACK_BIAS + 0x78] %asi, %i7;	\
615 #define FILL_2_GENERIC(ASI)				\  argument
619 	lduwa	[%sp + %g0] ASI, %l0;			\
622 	lduwa	[%sp + %g2] ASI, %l1;			\
624 	lduwa	[%sp + %g3] ASI, %l2;			\
625 	lduwa	[%sp + %g5] ASI, %l3;			\
627 	lduwa	[%g1 + %g0] ASI, %l4;			\
628 	lduwa	[%g1 + %g2] ASI, %l5;			\
629 	lduwa	[%g1 + %g3] ASI, %l6;			\
630 	lduwa	[%g1 + %g5] ASI, %l7;			\
632 	lduwa	[%g1 + %g0] ASI, %i0;			\
633 	lduwa	[%g1 + %g2] ASI, %i1;			\
634 	lduwa	[%g1 + %g3] ASI, %i2;			\
635 	lduwa	[%g1 + %g5] ASI, %i3;			\
637 	lduwa	[%g1 + %g0] ASI, %i4;			\
638 	lduwa	[%g1 + %g2] ASI, %i5;			\
639 	lduwa	[%g1 + %g3] ASI, %i6;			\
640 	lduwa	[%g1 + %g5] ASI, %i7;			\
652 	lduwa	[%sp + 0x00] %asi, %l0;			\
653 	lduwa	[%sp + 0x04] %asi, %l1;			\
654 	lduwa	[%sp + 0x08] %asi, %l2;			\
655 	lduwa	[%sp + 0x0c] %asi, %l3;			\
656 	lduwa	[%sp + 0x10] %asi, %l4;			\
657 	lduwa	[%sp + 0x14] %asi, %l5;			\
658 	lduwa	[%sp + 0x18] %asi, %l6;			\
659 	lduwa	[%sp + 0x1c] %asi, %l7;			\
660 	lduwa	[%sp + 0x20] %asi, %i0;			\
661 	lduwa	[%sp + 0x24] %asi, %i1;			\
662 	lduwa	[%sp + 0x28] %asi, %i2;			\
663 	lduwa	[%sp + 0x2c] %asi, %i3;			\
664 	lduwa	[%sp + 0x30] %asi, %i4;			\
665 	lduwa	[%sp + 0x34] %asi, %i5;			\
666 	lduwa	[%sp + 0x38] %asi, %i6;			\
667 	lduwa	[%sp + 0x3c] %asi, %i7;			\