50 #define pte_ERROR(pte)		__pte_error(__FILE__, __LINE__, pte_val(pte))  argument
57 #define __pte_to_phys(pte)	\  argument
58 	((pte_val(pte) & PTE_ADDR_LOW) | ((pte_val(pte) & PTE_ADDR_HIGH) << 36))
61 #define __pte_to_phys(pte)	(pte_val(pte) & PTE_ADDR_MASK)  argument
65 #define pte_pfn(pte)		(__pte_to_phys(pte) >> PAGE_SHIFT)  argument
69 #define pte_none(pte)		(!pte_val(pte))  argument
71 #define pte_page(pte)		(pfn_to_page(pte_pfn(pte)))  argument
76 #define pte_present(pte)	(!!(pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)))  argument
77 #define pte_young(pte)		(!!(pte_val(pte) & PTE_AF))  argument
78 #define pte_special(pte)	(!!(pte_val(pte) & PTE_SPECIAL))  argument
79 #define pte_write(pte)		(!!(pte_val(pte) & PTE_WRITE))  argument
80 #define pte_user_exec(pte)	(!(pte_val(pte) & PTE_UXN))  argument
81 #define pte_cont(pte)		(!!(pte_val(pte) & PTE_CONT))  argument
82 #define pte_devmap(pte)		(!!(pte_val(pte) & PTE_DEVMAP))  argument
94 #define pte_hw_dirty(pte)	(pte_write(pte) && !(pte_val(pte) & PTE_RDONLY))  argument
95 #define pte_sw_dirty(pte)	(!!(pte_val(pte) & PTE_DIRTY))  argument
96 #define pte_dirty(pte)		(pte_sw_dirty(pte) || pte_hw_dirty(pte))  argument
98 #define pte_valid(pte)		(!!(pte_val(pte) & PTE_VALID))  argument
103 #define pte_valid_not_user(pte) \  argument
104 	((pte_val(pte) & (PTE_VALID | PTE_USER | PTE_UXN)) == (PTE_VALID | PTE_UXN))
105 #define pte_valid_young(pte) \  argument
106 	((pte_val(pte) & (PTE_VALID | PTE_AF)) == (PTE_VALID | PTE_AF))
107 #define pte_valid_user(pte) \  argument
108 	((pte_val(pte) & (PTE_VALID | PTE_USER)) == (PTE_VALID | PTE_USER))
115 #define pte_accessible(mm, pte)	\  argument
116 	(mm_tlb_flush_pending(mm) ? pte_present(pte) : pte_valid_young(pte))
123 #define pte_access_permitted(pte, write) \  argument
124 	(pte_valid_user(pte) && (!(write) || pte_write(pte)))
130 static inline pte_t clear_pte_bit(pte_t pte, pgprot_t prot)  in clear_pte_bit()  argument
132 	pte_val(pte) &= ~pgprot_val(prot);  in clear_pte_bit()
133 	return pte;  in clear_pte_bit()
136 static inline pte_t set_pte_bit(pte_t pte, pgprot_t prot)  in set_pte_bit()  argument
138 	pte_val(pte) |= pgprot_val(prot);  in set_pte_bit()
139 	return pte;  in set_pte_bit()
142 static inline pte_t pte_wrprotect(pte_t pte)  in pte_wrprotect()  argument
144 	pte = clear_pte_bit(pte, __pgprot(PTE_WRITE));  in pte_wrprotect()
145 	pte = set_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_wrprotect()
146 	return pte;  in pte_wrprotect()
149 static inline pte_t pte_mkwrite(pte_t pte)  in pte_mkwrite()  argument
151 	pte = set_pte_bit(pte, __pgprot(PTE_WRITE));  in pte_mkwrite()
152 	pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkwrite()
153 	return pte;  in pte_mkwrite()
156 static inline pte_t pte_mkclean(pte_t pte)  in pte_mkclean()  argument
158 	pte = clear_pte_bit(pte, __pgprot(PTE_DIRTY));  in pte_mkclean()
159 	pte = set_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkclean()
161 	return pte;  in pte_mkclean()
164 static inline pte_t pte_mkdirty(pte_t pte)  in pte_mkdirty()  argument
166 	pte = set_pte_bit(pte, __pgprot(PTE_DIRTY));  in pte_mkdirty()
168 	if (pte_write(pte))  in pte_mkdirty()
169 		pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY));  in pte_mkdirty()
171 	return pte;  in pte_mkdirty()
174 static inline pte_t pte_mkold(pte_t pte)  in pte_mkold()  argument
176 	return clear_pte_bit(pte, __pgprot(PTE_AF));  in pte_mkold()
179 static inline pte_t pte_mkyoung(pte_t pte)  in pte_mkyoung()  argument
181 	return set_pte_bit(pte, __pgprot(PTE_AF));  in pte_mkyoung()
184 static inline pte_t pte_mkspecial(pte_t pte)  in pte_mkspecial()  argument
186 	return set_pte_bit(pte, __pgprot(PTE_SPECIAL));  in pte_mkspecial()
189 static inline pte_t pte_mkcont(pte_t pte)  in pte_mkcont()  argument
191 	pte = set_pte_bit(pte, __pgprot(PTE_CONT));  in pte_mkcont()
192 	return set_pte_bit(pte, __pgprot(PTE_TYPE_PAGE));  in pte_mkcont()
195 static inline pte_t pte_mknoncont(pte_t pte)  in pte_mknoncont()  argument
197 	return clear_pte_bit(pte, __pgprot(PTE_CONT));  in pte_mknoncont()
200 static inline pte_t pte_mkpresent(pte_t pte)  in pte_mkpresent()  argument
202 	return set_pte_bit(pte, __pgprot(PTE_VALID));  in pte_mkpresent()
210 static inline pte_t pte_mkdevmap(pte_t pte)  in pte_mkdevmap()  argument
212 	return set_pte_bit(pte, __pgprot(PTE_DEVMAP | PTE_SPECIAL));  in pte_mkdevmap()
215 static inline void set_pte(pte_t *ptep, pte_t pte)  in set_pte()  argument
217 	WRITE_ONCE(*ptep, pte);  in set_pte()
223 	if (pte_valid_not_user(pte)) {  in set_pte()
248 					   pte_t pte)  in __check_racy_pte_update()  argument
257 	if (!pte_valid(old_pte) || !pte_valid(pte))  in __check_racy_pte_update()
267 	VM_WARN_ONCE(!pte_young(pte),  in __check_racy_pte_update()
269 		     __func__, pte_val(old_pte), pte_val(pte));  in __check_racy_pte_update()
270 	VM_WARN_ONCE(pte_write(old_pte) && !pte_dirty(pte),  in __check_racy_pte_update()
272 		     __func__, pte_val(old_pte), pte_val(pte));  in __check_racy_pte_update()
276 			      pte_t *ptep, pte_t pte)  in set_pte_at()  argument
278 	if (pte_present(pte) && pte_user_exec(pte) && !pte_special(pte))  in set_pte_at()
279 		__sync_icache_dcache(pte);  in set_pte_at()
281 	__check_racy_pte_update(mm, ptep, pte);  in set_pte_at()
283 	set_pte(ptep, pte);  in set_pte_at()
289 #define pte_mkhuge(pte)		(__pte(pte_val(pte) & ~PTE_TABLE_BIT))  argument
310 static inline pud_t pte_pud(pte_t pte)  in pte_pud()  argument
312 	return __pud(pte_val(pte));  in pte_pud()
325 static inline pmd_t pte_pmd(pte_t pte)  in pte_pmd()  argument
327 	return __pmd(pte_val(pte));  in pte_pmd()
344 static inline int pte_protnone(pte_t pte)  in pte_protnone()  argument
346 	return (pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)) == PTE_PROT_NONE;  in pte_protnone()
500 static inline void pte_unmap(pte_t *pte) { }  in pte_unmap()  argument
662 static inline pte_t pte_modify(pte_t pte, pgprot_t newprot)  in pte_modify()  argument
667 	if (pte_hw_dirty(pte))  in pte_modify()
668 		pte = pte_mkdirty(pte);  in pte_modify()
669 	pte_val(pte) = (pte_val(pte) & ~mask) | (pgprot_val(newprot) & mask);  in pte_modify()
670 	return pte;  in pte_modify()
709 	pte_t old_pte, pte;  in __ptep_test_and_clear_young()  local
711 	pte = READ_ONCE(*ptep);  in __ptep_test_and_clear_young()
713 		old_pte = pte;  in __ptep_test_and_clear_young()
714 		pte = pte_mkold(pte);  in __ptep_test_and_clear_young()
715 		pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep),  in __ptep_test_and_clear_young()
716 					       pte_val(old_pte), pte_val(pte));  in __ptep_test_and_clear_young()
717 	} while (pte_val(pte) != pte_val(old_pte));  in __ptep_test_and_clear_young()
719 	return pte_young(pte);  in __ptep_test_and_clear_young()
783 	pte_t old_pte, pte;  in ptep_set_wrprotect()  local
785 	pte = READ_ONCE(*ptep);  in ptep_set_wrprotect()
787 		old_pte = pte;  in ptep_set_wrprotect()
792 		if (pte_hw_dirty(pte))  in ptep_set_wrprotect()
793 			pte = pte_mkdirty(pte);  in ptep_set_wrprotect()
794 		pte = pte_wrprotect(pte);  in ptep_set_wrprotect()
795 		pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep),  in ptep_set_wrprotect()
796 					       pte_val(old_pte), pte_val(pte));  in ptep_set_wrprotect()
797 	} while (pte_val(pte) != pte_val(old_pte));  in ptep_set_wrprotect()
834 #define __pte_to_swp_entry(pte)	((swp_entry_t) { pte_val(pte) })  argument