但这种优遇并不如何持久。于勒二世底性格和弥盖朗琪罗底同样无恒。他一忽儿热心某个计划，一忽儿又热心另一个绝然不同的计划。另一个计划于他显得更能使他的荣名垂久：他要重建圣比哀尔大寺。这是弥盖朗琪罗底敌人们怂恿他倾向于这新事业的，那些敌人数不在少，而且都是强有力的。他们中间的首领是一个天才与弥盖朗琪罗相仿而意志更坚强的人物：勃拉芒德（Bramante d'Urbin），他是教皇底建筑家，拉斐尔底朋友。在两个理智坚强的翁勃里伟人与一个天才犷野的翡冷翠人中间，毫无同情心可言。但他们所以决心要打倒他，无疑是因为他曾向他们挑战之故。弥盖朗琪罗毫无顾忌地指责勃拉芒德，说他在工程中舞弊。那时勃拉芒德便决意要剪除他。
他使他在教皇那边失宠。他利用于勒二世底迷信；在他面前说据普通的观念，生前建造陵墓是大不祥的。他居然使教皇对于弥盖朗琪罗底计划冷淡了下来，而乘机献上他自己的计划。一五〇六年正月，于勒二世决定重建圣比哀尔大寺。陵墓的事情搁置了，弥盖朗琪罗不独被压倒了，而且为了他在作品方面所化的钱负了不少债务。他悲苦地怨艾。教皇不再见他了；他为了工程的事情去求见时，于勒二世教他的马弁把他逐出梵谛刚宫。