Lines Matching refs:pte
70 #define __pte_to_phys(pte) \ argument
71 ((pte_val(pte) & PTE_ADDR_LOW) | ((pte_val(pte) & PTE_ADDR_HIGH) << 36))
74 #define __pte_to_phys(pte) (pte_val(pte) & PTE_ADDR_MASK) argument
78 #define pte_pfn(pte) (__pte_to_phys(pte) >> PAGE_SHIFT) argument
82 #define pte_none(pte) (!pte_val(pte)) argument
84 #define pte_page(pte) (pfn_to_page(pte_pfn(pte))) argument
89 #define pte_present(pte) (!!(pte_val(pte) & (PTE_VALID | PTE_PROT_NONE))) argument
90 #define pte_young(pte) (!!(pte_val(pte) & PTE_AF)) argument
91 #define pte_special(pte) (!!(pte_val(pte) & PTE_SPECIAL)) argument
92 #define pte_write(pte) (!!(pte_val(pte) & PTE_WRITE)) argument
93 #define pte_user_exec(pte) (!(pte_val(pte) & PTE_UXN)) argument
94 #define pte_cont(pte) (!!(pte_val(pte) & PTE_CONT)) argument
95 #define pte_devmap(pte) (!!(pte_val(pte) & PTE_DEVMAP)) argument
96 #define pte_tagged(pte) ((pte_val(pte) & PTE_ATTRINDX_MASK) == \ argument
109 #define pte_hw_dirty(pte) (pte_write(pte) && !(pte_val(pte) & PTE_RDONLY)) argument
110 #define pte_sw_dirty(pte) (!!(pte_val(pte) & PTE_DIRTY)) argument
111 #define pte_dirty(pte) (pte_sw_dirty(pte) || pte_hw_dirty(pte)) argument
113 #define pte_valid(pte) (!!(pte_val(pte) & PTE_VALID)) argument
118 #define pte_valid_not_user(pte) \ argument
119 ((pte_val(pte) & (PTE_VALID | PTE_USER | PTE_UXN)) == (PTE_VALID | PTE_UXN))
128 #define pte_accessible(mm, pte) \ argument
129 (mm_tlb_flush_pending(mm) ? pte_present(pte) : pte_valid(pte))
138 #define pte_access_permitted(pte, write) \ argument
139 …(((pte_val(pte) & (PTE_VALID | PTE_USER)) == (PTE_VALID | PTE_USER)) && (!(write) || pte_write(pte…
145 static inline pte_t clear_pte_bit(pte_t pte, pgprot_t prot) in clear_pte_bit() argument
147 pte_val(pte) &= ~pgprot_val(prot); in clear_pte_bit()
148 return pte; in clear_pte_bit()
151 static inline pte_t set_pte_bit(pte_t pte, pgprot_t prot) in set_pte_bit() argument
153 pte_val(pte) |= pgprot_val(prot); in set_pte_bit()
154 return pte; in set_pte_bit()
169 static inline pte_t pte_mkwrite(pte_t pte) in pte_mkwrite() argument
171 pte = set_pte_bit(pte, __pgprot(PTE_WRITE)); in pte_mkwrite()
172 pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkwrite()
173 return pte; in pte_mkwrite()
176 static inline pte_t pte_mkclean(pte_t pte) in pte_mkclean() argument
178 pte = clear_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_mkclean()
179 pte = set_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkclean()
181 return pte; in pte_mkclean()
184 static inline pte_t pte_mkdirty(pte_t pte) in pte_mkdirty() argument
186 pte = set_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_mkdirty()
188 if (pte_write(pte)) in pte_mkdirty()
189 pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkdirty()
191 return pte; in pte_mkdirty()
194 static inline pte_t pte_wrprotect(pte_t pte) in pte_wrprotect() argument
200 if (pte_hw_dirty(pte)) in pte_wrprotect()
201 pte = pte_mkdirty(pte); in pte_wrprotect()
203 pte = clear_pte_bit(pte, __pgprot(PTE_WRITE)); in pte_wrprotect()
204 pte = set_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_wrprotect()
205 return pte; in pte_wrprotect()
208 static inline pte_t pte_mkold(pte_t pte) in pte_mkold() argument
210 return clear_pte_bit(pte, __pgprot(PTE_AF)); in pte_mkold()
213 static inline pte_t pte_mkyoung(pte_t pte) in pte_mkyoung() argument
215 return set_pte_bit(pte, __pgprot(PTE_AF)); in pte_mkyoung()
218 static inline pte_t pte_mkspecial(pte_t pte) in pte_mkspecial() argument
220 return set_pte_bit(pte, __pgprot(PTE_SPECIAL)); in pte_mkspecial()
223 static inline pte_t pte_mkcont(pte_t pte) in pte_mkcont() argument
225 pte = set_pte_bit(pte, __pgprot(PTE_CONT)); in pte_mkcont()
226 return set_pte_bit(pte, __pgprot(PTE_TYPE_PAGE)); in pte_mkcont()
229 static inline pte_t pte_mknoncont(pte_t pte) in pte_mknoncont() argument
231 return clear_pte_bit(pte, __pgprot(PTE_CONT)); in pte_mknoncont()
234 static inline pte_t pte_mkpresent(pte_t pte) in pte_mkpresent() argument
236 return set_pte_bit(pte, __pgprot(PTE_VALID)); in pte_mkpresent()
244 static inline pte_t pte_mkdevmap(pte_t pte) in pte_mkdevmap() argument
246 return set_pte_bit(pte, __pgprot(PTE_DEVMAP | PTE_SPECIAL)); in pte_mkdevmap()
249 static inline void set_pte(pte_t *ptep, pte_t pte) in set_pte() argument
251 WRITE_ONCE(*ptep, pte); in set_pte()
257 if (pte_valid_not_user(pte)) { in set_pte()
282 pte_t pte) in __check_racy_pte_update() argument
291 if (!pte_valid(old_pte) || !pte_valid(pte)) in __check_racy_pte_update()
301 VM_WARN_ONCE(!pte_young(pte), in __check_racy_pte_update()
303 __func__, pte_val(old_pte), pte_val(pte)); in __check_racy_pte_update()
304 VM_WARN_ONCE(pte_write(old_pte) && !pte_dirty(pte), in __check_racy_pte_update()
306 __func__, pte_val(old_pte), pte_val(pte)); in __check_racy_pte_update()
310 pte_t *ptep, pte_t pte) in set_pte_at() argument
312 if (pte_present(pte) && pte_user_exec(pte) && !pte_special(pte)) in set_pte_at()
313 __sync_icache_dcache(pte); in set_pte_at()
321 if (system_supports_mte() && pte_access_permitted(pte, false) && in set_pte_at()
322 !pte_special(pte)) { in set_pte_at()
331 if (pte_tagged(pte) || (!pte_none(old_pte) && !pte_present(old_pte))) in set_pte_at()
332 mte_sync_tags(old_pte, pte); in set_pte_at()
335 __check_racy_pte_update(mm, ptep, pte); in set_pte_at()
337 set_pte(ptep, pte); in set_pte_at()
343 #define pte_mkhuge(pte) (__pte(pte_val(pte) & ~PTE_TABLE_BIT)) argument
369 static inline pud_t pte_pud(pte_t pte) in pte_pud() argument
371 return __pud(pte_val(pte)); in pte_pud()
384 static inline pmd_t pte_pmd(pte_t pte) in pte_pmd() argument
386 return __pmd(pte_val(pte)); in pte_pmd()
403 static inline int pte_protnone(pte_t pte) in pte_protnone() argument
405 return (pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)) == PTE_PROT_NONE; in pte_protnone()
536 #define pte_leaf_size(pte) (pte_cont(pte) ? CONT_PTE_SIZE : PAGE_SIZE) argument
750 static inline pte_t pte_modify(pte_t pte, pgprot_t newprot) in pte_modify() argument
760 if (pte_hw_dirty(pte)) in pte_modify()
761 pte = pte_mkdirty(pte); in pte_modify()
762 pte_val(pte) = (pte_val(pte) & ~mask) | (pgprot_val(newprot) & mask); in pte_modify()
763 return pte; in pte_modify()
802 pte_t old_pte, pte; in __ptep_test_and_clear_young() local
804 pte = READ_ONCE(*ptep); in __ptep_test_and_clear_young()
806 old_pte = pte; in __ptep_test_and_clear_young()
807 pte = pte_mkold(pte); in __ptep_test_and_clear_young()
808 pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep), in __ptep_test_and_clear_young()
809 pte_val(old_pte), pte_val(pte)); in __ptep_test_and_clear_young()
810 } while (pte_val(pte) != pte_val(old_pte)); in __ptep_test_and_clear_young()
812 return pte_young(pte); in __ptep_test_and_clear_young()
876 pte_t old_pte, pte; in ptep_set_wrprotect() local
878 pte = READ_ONCE(*ptep); in ptep_set_wrprotect()
880 old_pte = pte; in ptep_set_wrprotect()
881 pte = pte_wrprotect(pte); in ptep_set_wrprotect()
882 pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep), in ptep_set_wrprotect()
883 pte_val(old_pte), pte_val(pte)); in ptep_set_wrprotect()
884 } while (pte_val(pte) != pte_val(old_pte)); in ptep_set_wrprotect()
921 #define __pte_to_swp_entry(pte) ((swp_entry_t) { pte_val(pte) }) argument