但是，当朱元璋当了皇帝以后，刘基在朝中时常受到排挤和打击，尤其受到李善长、徐达等淮河西集团的打击，屡受挫折，处境艰难，后来又被“钦赐”还乡，最后竟暴死于家中。
早在洪武三年（1370）七月，朱元璋在给刘基的《弘文馆学士诰》中，用极不客气的话讥讽刘基在这么大把年纪的情况下，不回家抚育儿女，却仍恋恋不舍地留在他身边，想激他引退，显然这时朱元璋已厌弃刘基。这年十一月，朱元璋大封功臣，只封刘基为诚意伯，食禄只有二百四十石，而李善长则封为韩国公，食禄四千石，其中的分歧之大，显而易见。
洪武四年（1371）正月，朱元璋任命汪广洋为右丞相，胡惟庸为中书左丞，同时赐刘基告老还乡。二月，刘基第二次回到青田。
可是，刘基在家仍不得安稳。当初，刘基请求在浙闽之间一片名叫“淡洋”的空旷地带设立巡检司，恰好碰到逃军造反。刘基派长子刘琏入京报告朱元璋，没有先通知中书省。胡惟庸以左丞掌中书省大权，心中一直怨恨刘基以前反对自己做丞相，此时遂乘机报复。他指使刑部尚书吴云派人陷害刘基，说淡洋之地有王气，刘基想占为己有作为墓地，百姓反对，他便请设巡检司，结果激成事变。这无异于谋篡，于是朱元璋削夺了他的俸禄。从朱元璋后来的《钦赐归老青田诏书》来看，朱元璋对胡惟庸深信不疑，认为刘基不可饶恕。