60 #define pte_ERROR(pte)		__pte_error(__FILE__, __LINE__, pte_val(pte))  argument
67 #define __pte_to_phys(pte)	\  argument
68 	((pte_val(pte) & PTE_ADDR_LOW) | ((pte_val(pte) & PTE_ADDR_HIGH) << 36))
71 #define __pte_to_phys(pte)	(pte_val(pte) & PTE_ADDR_MASK)  argument
75 #define pte_pfn(pte)		(__pte_to_phys(pte) >> PAGE_SHIFT)  argument
79 #define pte_none(pte)		(!pte_val(pte))  argument
81 #define pte_page(pte)		(pfn_to_page(pte_pfn(pte)))  argument
86 #define pte_present(pte)	(!!(pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)))  argument
87 #define pte_young(pte)		(!!(pte_val(pte) & PTE_AF))  argument
88 #define pte_special(pte)	(!!(pte_val(pte) & PTE_SPECIAL))  argument
89 #define pte_write(pte)		(!!(pte_val(pte) & PTE_WRITE))  argument
90 #define pte_user_exec(pte)	(!(pte_val(pte) & PTE_UXN))  argument
91 #define pte_cont(pte)		(!!(pte_val(pte) & PTE_CONT))  argument
103 #define pte_hw_dirty(pte)	(pte_write(pte) && !(pte_val(pte) & PTE_RDONLY))  argument
104 #define pte_sw_dirty(pte)	(!!(pte_val(pte) & PTE_DIRTY))  argument
105 #define pte_dirty(pte)		(pte_sw_dirty(pte) || pte_hw_dirty(pte))  argument
107 #define pte_valid(pte)		(!!(pte_val(pte) & PTE_VALID))  argument
112 #define pte_valid_not_user(pte) \  argument
113 	((pte_val(pte) & (PTE_VALID | PTE_USER | PTE_UXN)) == (PTE_VALID | PTE_UXN))
114 #define pte_valid_young(pte) \  argument
115 	((pte_val(pte) & (PTE_VALID | PTE_AF)) == (PTE_VALID | PTE_AF))
116 #define pte_valid_user(pte) \  argument
117 	((pte_val(pte) & (PTE_VALID | PTE_USER)) == (PTE_VALID | PTE_USER))
124 #define pte_accessible(mm, pte)	\  argument
125 	(mm_tlb_flush_pending(mm) ? pte_present(pte) : pte_valid_young(pte))
132 #define pte_access_permitted(pte, write) \  argument
133 	(pte_valid_user(pte) && (!(write) || pte_write(pte)))
139 static inline pte_t clear_pte_bit(pte_t pte, pgprot_t prot)  in clear_pte_bit()  argument
141 	pte_val(pte) &= ~pgprot_val(prot);  in clear_pte_bit()
142 	return pte;  in clear_pte_bit()
145 static inline pte_t set_pte_bit(pte_t pte, pgprot_t prot)  in set_pte_bit()  argument
147 	pte_val(pte) |= pgprot_val(prot);  in set_pte_bit()
148 	return pte;  in set_pte_bit()
151 static inline pte_t pte_wrprotect(pte_t pte)  in pte_wrprotect()  argument
153 	pte = clear_pte_bit(pte, __pgprot(PTE_WRITE));  in pte_wrprotect()
154 	pte = set_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_wrprotect()
155 	return pte;  in pte_wrprotect()
158 static inline pte_t pte_mkwrite(pte_t pte)  in pte_mkwrite()  argument
160 	pte = set_pte_bit(pte, __pgprot(PTE_WRITE));  in pte_mkwrite()
161 	pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkwrite()
162 	return pte;  in pte_mkwrite()
165 static inline pte_t pte_mkclean(pte_t pte)  in pte_mkclean()  argument
167 	pte = clear_pte_bit(pte, __pgprot(PTE_DIRTY));  in pte_mkclean()
168 	pte = set_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkclean()
170 	return pte;  in pte_mkclean()
173 static inline pte_t pte_mkdirty(pte_t pte)  in pte_mkdirty()  argument
175 	pte = set_pte_bit(pte, __pgprot(PTE_DIRTY));  in pte_mkdirty()
177 	if (pte_write(pte))  in pte_mkdirty()
178 		pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkdirty()
180 	return pte;  in pte_mkdirty()
183 static inline pte_t pte_mkold(pte_t pte)  in pte_mkold()  argument
185 	return clear_pte_bit(pte, __pgprot(PTE_AF));  in pte_mkold()
188 static inline pte_t pte_mkyoung(pte_t pte)  in pte_mkyoung()  argument
190 	return set_pte_bit(pte, __pgprot(PTE_AF));  in pte_mkyoung()
193 static inline pte_t pte_mkspecial(pte_t pte)  in pte_mkspecial()  argument
195 	return set_pte_bit(pte, __pgprot(PTE_SPECIAL));  in pte_mkspecial()
198 static inline pte_t pte_mkcont(pte_t pte)  in pte_mkcont()  argument
200 	pte = set_pte_bit(pte, __pgprot(PTE_CONT));  in pte_mkcont()
201 	return set_pte_bit(pte, __pgprot(PTE_TYPE_PAGE));  in pte_mkcont()
204 static inline pte_t pte_mknoncont(pte_t pte)  in pte_mknoncont()  argument
206 	return clear_pte_bit(pte, __pgprot(PTE_CONT));  in pte_mknoncont()
209 static inline pte_t pte_mkpresent(pte_t pte)  in pte_mkpresent()  argument
211 	return set_pte_bit(pte, __pgprot(PTE_VALID));  in pte_mkpresent()
219 static inline void set_pte(pte_t *ptep, pte_t pte)  in set_pte()  argument
221 	WRITE_ONCE(*ptep, pte);  in set_pte()
227 	if (pte_valid_not_user(pte))  in set_pte()
249 			      pte_t *ptep, pte_t pte)  in set_pte_at()  argument
253 	if (pte_present(pte) && pte_user_exec(pte) && !pte_special(pte))  in set_pte_at()
254 		__sync_icache_dcache(pte);  in set_pte_at()
262 	if (IS_ENABLED(CONFIG_DEBUG_VM) && pte_valid(old_pte) && pte_valid(pte) &&  in set_pte_at()
264 		VM_WARN_ONCE(!pte_young(pte),  in set_pte_at()
266 			     __func__, pte_val(old_pte), pte_val(pte));  in set_pte_at()
267 		VM_WARN_ONCE(pte_write(old_pte) && !pte_dirty(pte),  in set_pte_at()
269 			     __func__, pte_val(old_pte), pte_val(pte));  in set_pte_at()
272 	set_pte(ptep, pte);  in set_pte_at()
295 #define pte_huge(pte)		(!(pte_val(pte) & PTE_TABLE_BIT))  argument
296 #define pte_mkhuge(pte)		(__pte(pte_val(pte) & ~PTE_TABLE_BIT))  argument
327 static inline pmd_t pte_pmd(pte_t pte)  in pte_pmd()  argument
329 	return __pmd(pte_val(pte));  in pte_pmd()
341 static inline int pte_protnone(pte_t pte)  in pte_protnone()  argument
343 	return (pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)) == PTE_PROT_NONE;  in pte_protnone()
455 #define pte_unmap(pte)			do { } while (0)  argument
456 #define pte_unmap_nested(pte)		do { } while (0)  argument
592 static inline pte_t pte_modify(pte_t pte, pgprot_t newprot)  in pte_modify()  argument
597 	if (pte_hw_dirty(pte))  in pte_modify()
598 		pte = pte_mkdirty(pte);  in pte_modify()
599 	pte_val(pte) = (pte_val(pte) & ~mask) | (pgprot_val(newprot) & mask);  in pte_modify()
600 	return pte;  in pte_modify()
629 	pte_t old_pte, pte;  in __ptep_test_and_clear_young()  local
631 	pte = READ_ONCE(*ptep);  in __ptep_test_and_clear_young()
633 		old_pte = pte;  in __ptep_test_and_clear_young()
634 		pte = pte_mkold(pte);  in __ptep_test_and_clear_young()
635 		pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep),  in __ptep_test_and_clear_young()
636 					       pte_val(old_pte), pte_val(pte));  in __ptep_test_and_clear_young()
637 	} while (pte_val(pte) != pte_val(old_pte));  in __ptep_test_and_clear_young()
639 	return pte_young(pte);  in __ptep_test_and_clear_young()
682 	pte_t old_pte, pte;  in ptep_set_wrprotect()  local
684 	pte = READ_ONCE(*ptep);  in ptep_set_wrprotect()
686 		old_pte = pte;  in ptep_set_wrprotect()
691 		if (pte_hw_dirty(pte))  in ptep_set_wrprotect()
692 			pte = pte_mkdirty(pte);  in ptep_set_wrprotect()
693 		pte = pte_wrprotect(pte);  in ptep_set_wrprotect()
694 		pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep),  in ptep_set_wrprotect()
695 					       pte_val(old_pte), pte_val(pte));  in ptep_set_wrprotect()
696 	} while (pte_val(pte) != pte_val(old_pte));  in ptep_set_wrprotect()
738 #define __pte_to_swp_entry(pte)	((swp_entry_t) { pte_val(pte) })  argument