72 #define __pte_to_phys(pte)	\  argument
73 	((pte_val(pte) & PTE_ADDR_LOW) | ((pte_val(pte) & PTE_ADDR_HIGH) << 36))
76 #define __pte_to_phys(pte)	(pte_val(pte) & PTE_ADDR_MASK)  argument
80 #define pte_pfn(pte)		(__pte_to_phys(pte) >> PAGE_SHIFT)  argument
84 #define pte_none(pte)		(!pte_val(pte))  argument
86 #define pte_page(pte)		(pfn_to_page(pte_pfn(pte)))  argument
91 #define pte_present(pte)	(!!(pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)))  argument
92 #define pte_young(pte)		(!!(pte_val(pte) & PTE_AF))  argument
93 #define pte_special(pte)	(!!(pte_val(pte) & PTE_SPECIAL))  argument
94 #define pte_write(pte)		(!!(pte_val(pte) & PTE_WRITE))  argument
95 #define pte_user_exec(pte)	(!(pte_val(pte) & PTE_UXN))  argument
96 #define pte_cont(pte)		(!!(pte_val(pte) & PTE_CONT))  argument
97 #define pte_devmap(pte)		(!!(pte_val(pte) & PTE_DEVMAP))  argument
98 #define pte_tagged(pte)		((pte_val(pte) & PTE_ATTRINDX_MASK) == \  argument
111 #define pte_hw_dirty(pte)	(pte_write(pte) && !(pte_val(pte) & PTE_RDONLY))  argument
112 #define pte_sw_dirty(pte)	(!!(pte_val(pte) & PTE_DIRTY))  argument
113 #define pte_dirty(pte)		(pte_sw_dirty(pte) || pte_hw_dirty(pte))  argument
115 #define pte_valid(pte)		(!!(pte_val(pte) & PTE_VALID))  argument
116 #define pte_valid_not_user(pte) \  argument
117 	((pte_val(pte) & (PTE_VALID | PTE_USER)) == PTE_VALID)
118 #define pte_valid_user(pte) \  argument
119 	((pte_val(pte) & (PTE_VALID | PTE_USER)) == (PTE_VALID | PTE_USER))
129 #define pte_accessible(mm, pte)	\  argument
130 	(mm_tlb_flush_pending(mm) ? pte_present(pte) : pte_valid(pte))
137 #define pte_access_permitted(pte, write) \  argument
138 	(pte_valid_user(pte) && (!(write) || pte_write(pte)))
144 static inline pte_t clear_pte_bit(pte_t pte, pgprot_t prot)  in clear_pte_bit()  argument
146 	pte_val(pte) &= ~pgprot_val(prot);  in clear_pte_bit()
147 	return pte;  in clear_pte_bit()
150 static inline pte_t set_pte_bit(pte_t pte, pgprot_t prot)  in set_pte_bit()  argument
152 	pte_val(pte) |= pgprot_val(prot);  in set_pte_bit()
153 	return pte;  in set_pte_bit()
168 static inline pte_t pte_mkwrite(pte_t pte)  in pte_mkwrite()  argument
170 	pte = set_pte_bit(pte, __pgprot(PTE_WRITE));  in pte_mkwrite()
171 	pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkwrite()
172 	return pte;  in pte_mkwrite()
175 static inline pte_t pte_mkclean(pte_t pte)  in pte_mkclean()  argument
177 	pte = clear_pte_bit(pte, __pgprot(PTE_DIRTY));  in pte_mkclean()
178 	pte = set_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkclean()
180 	return pte;  in pte_mkclean()
183 static inline pte_t pte_mkdirty(pte_t pte)  in pte_mkdirty()  argument
185 	pte = set_pte_bit(pte, __pgprot(PTE_DIRTY));  in pte_mkdirty()
187 	if (pte_write(pte))  in pte_mkdirty()
188 		pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkdirty()
190 	return pte;  in pte_mkdirty()
193 static inline pte_t pte_wrprotect(pte_t pte)  in pte_wrprotect()  argument
199 	if (pte_hw_dirty(pte))  in pte_wrprotect()
200 		pte = pte_mkdirty(pte);  in pte_wrprotect()
202 	pte = clear_pte_bit(pte, __pgprot(PTE_WRITE));  in pte_wrprotect()
203 	pte = set_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_wrprotect()
204 	return pte;  in pte_wrprotect()
207 static inline pte_t pte_mkold(pte_t pte)  in pte_mkold()  argument
209 	return clear_pte_bit(pte, __pgprot(PTE_AF));  in pte_mkold()
212 static inline pte_t pte_mkyoung(pte_t pte)  in pte_mkyoung()  argument
214 	return set_pte_bit(pte, __pgprot(PTE_AF));  in pte_mkyoung()
217 static inline pte_t pte_mkspecial(pte_t pte)  in pte_mkspecial()  argument
219 	return set_pte_bit(pte, __pgprot(PTE_SPECIAL));  in pte_mkspecial()
222 static inline pte_t pte_mkcont(pte_t pte)  in pte_mkcont()  argument
224 	pte = set_pte_bit(pte, __pgprot(PTE_CONT));  in pte_mkcont()
225 	return set_pte_bit(pte, __pgprot(PTE_TYPE_PAGE));  in pte_mkcont()
228 static inline pte_t pte_mknoncont(pte_t pte)  in pte_mknoncont()  argument
230 	return clear_pte_bit(pte, __pgprot(PTE_CONT));  in pte_mknoncont()
233 static inline pte_t pte_mkpresent(pte_t pte)  in pte_mkpresent()  argument
235 	return set_pte_bit(pte, __pgprot(PTE_VALID));  in pte_mkpresent()
243 static inline pte_t pte_mkdevmap(pte_t pte)  in pte_mkdevmap()  argument
245 	return set_pte_bit(pte, __pgprot(PTE_DEVMAP | PTE_SPECIAL));  in pte_mkdevmap()
248 static inline void set_pte(pte_t *ptep, pte_t pte)  in set_pte()  argument
250 	WRITE_ONCE(*ptep, pte);  in set_pte()
256 	if (pte_valid_not_user(pte)) {  in set_pte()
281 					   pte_t pte)  in __check_racy_pte_update()  argument
290 	if (!pte_valid(old_pte) || !pte_valid(pte))  in __check_racy_pte_update()
300 	VM_WARN_ONCE(!pte_young(pte),  in __check_racy_pte_update()
302 		     __func__, pte_val(old_pte), pte_val(pte));  in __check_racy_pte_update()
303 	VM_WARN_ONCE(pte_write(old_pte) && !pte_dirty(pte),  in __check_racy_pte_update()
305 		     __func__, pte_val(old_pte), pte_val(pte));  in __check_racy_pte_update()
309 			      pte_t *ptep, pte_t pte)  in set_pte_at()  argument
311 	if (pte_present(pte) && pte_user_exec(pte) && !pte_special(pte))  in set_pte_at()
312 		__sync_icache_dcache(pte);  in set_pte_at()
315 	    pte_present(pte) && pte_tagged(pte) && !pte_special(pte))  in set_pte_at()
316 		mte_sync_tags(ptep, pte);  in set_pte_at()
318 	__check_racy_pte_update(mm, ptep, pte);  in set_pte_at()
320 	set_pte(ptep, pte);  in set_pte_at()
326 #define pte_mkhuge(pte)		(__pte(pte_val(pte) & ~PTE_TABLE_BIT))  argument
352 static inline pud_t pte_pud(pte_t pte)  in pte_pud()  argument
354 	return __pud(pte_val(pte));  in pte_pud()
367 static inline pmd_t pte_pmd(pte_t pte)  in pte_pmd()  argument
369 	return __pmd(pte_val(pte));  in pte_pmd()
386 static inline int pte_protnone(pte_t pte)  in pte_protnone()  argument
388 	return (pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)) == PTE_PROT_NONE;  in pte_protnone()
725 static inline pte_t pte_modify(pte_t pte, pgprot_t newprot)  in pte_modify()  argument
735 	if (pte_hw_dirty(pte))  in pte_modify()
736 		pte = pte_mkdirty(pte);  in pte_modify()
737 	pte_val(pte) = (pte_val(pte) & ~mask) | (pgprot_val(newprot) & mask);  in pte_modify()
738 	return pte;  in pte_modify()
777 	pte_t old_pte, pte;  in __ptep_test_and_clear_young()  local
779 	pte = READ_ONCE(*ptep);  in __ptep_test_and_clear_young()
781 		old_pte = pte;  in __ptep_test_and_clear_young()
782 		pte = pte_mkold(pte);  in __ptep_test_and_clear_young()
783 		pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep),  in __ptep_test_and_clear_young()
784 					       pte_val(old_pte), pte_val(pte));  in __ptep_test_and_clear_young()
785 	} while (pte_val(pte) != pte_val(old_pte));  in __ptep_test_and_clear_young()
787 	return pte_young(pte);  in __ptep_test_and_clear_young()
851 	pte_t old_pte, pte;  in ptep_set_wrprotect()  local
853 	pte = READ_ONCE(*ptep);  in ptep_set_wrprotect()
855 		old_pte = pte;  in ptep_set_wrprotect()
856 		pte = pte_wrprotect(pte);  in ptep_set_wrprotect()
857 		pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep),  in ptep_set_wrprotect()
858 					       pte_val(old_pte), pte_val(pte));  in ptep_set_wrprotect()
859 	} while (pte_val(pte) != pte_val(old_pte));  in ptep_set_wrprotect()
896 #define __pte_to_swp_entry(pte)	((swp_entry_t) { pte_val(pte) })  argument