Il impose ainsi en 1296 une taxe au clergé et le pape Boniface VIII, furieux de cette décision, menace Philippe d'excommunication; la confrontation est inévitable. Philippe envoie en 1303 Nogaret à Aragni, dans le Latium, dans le but de signifier au pape Boniface VIII son intention de lui faire subir un procès et de le déposer. La rencontre est très mouvementée et Boniface, d'un âge avancé à 68 ans, en sort affaibli physiquement et meurt quelques semaines après. En 1305, Philippe fait élire à Avignon un pape français qui pourrait lui être plus favorable, Clément V. Avignon deviendra alors l'unique siège de la papauté jusqu'au grand schisme d'Occident en 1378.
Après s'être assuré d'avoir mis le pape sous sa tutelle, Philippe s'en prend maintenant aux chevaliers de l'ordre du Temple, les Templiers, dont l'organisation disposant d'une immense fortune re paie pas d'impôts en France. Le 13 octobre 1307, il provoque la chute de l'ordre du Temple en faisant arrêter par Nogaret tous les Templiers se trouvant en territoire français. Ceux-ci seront mis en accusation et devront subir des procès qui mèneront à certaines condamnations à mort, dont celle du grand maître de l'ordre, Jacques de Molay. À la dissolution de l'ordre demandée par le pape Clément V en 1312, Philippe met la main sur une partie des biens de l'ordre.
En avril 1314, Philippe est éclaboussé par l' « affaire de la tour de Nesle », nom donné en raison de l'endroit où le scandale a eu lieu. Celle-ci implique les trois brus de Philippe dans des relations hors mariage avec deux chevaliers, les frères Aunay. En dépit du conflit qu'il a eu avec la papauté, Philippe est très pieux et il est très soucieux du tort fait par l'affaire à son image. Il est également préoccupé par la possibilité de voir naître des enfants illégitimes ne venant pas de ses fils qui pourraient compromettre sa succession.
Après des aveux sous la torture, les frères Aunay sont condamnés à mort et deux des belles-filles de Philippe sont emprisonnées. En novembre 1314, Philippe fait une violente chute de cheval et meurt quelques semaines après. Il aurait peut-être aussi eu un accident vasculaire cérébral sans qu'il soit établi clairement que celui-ci soit survenu avant ou après la chute. La fin du règne de Philippe, si mémorable fût-il, mènera rapidement à la fin de la dynastie des Capétiens directs par la mort prématurée sans héritier mâle de ses trois fils qui lui succéderont.