孰料十天半月过去了，干旱依然肆虐，把人的心绪都烤得焦躁起来。朱元璋几乎有些狂暴，他把刘基叫到面前责问：“上天示警，殃及百姓。你狂瞽胡言，当负什么责任?”刘基眼见难以在朝中立身。正在此时，他的老妻病故的讣告传来，便正好借故抽身。朱元璋遂下一道圣旨：“着刘基还乡料理妻丧。御史、按察司官俱令自驾船只，发去汴梁安置。”这些因刘基而连累贬谪的官员直到北方平定急需用人，才重新起用。
朱元璋以汉高祖自命，把刘基比作张良。其实，刘基这个人在性格方面倒是更接近诸葛亮。所以他在离开朱元璋的时候依然是满怀忠诚，把那些没有来得及说起的话作最后交代。他告诉朱元璋，有两件事请皇上留意：第一，凤阳虽是陛下龙兴之处，却非建都之地；第二，王保保未可轻视。这两件事确是初创的明王朝面临的两个重要问题。洪武元年(1368)五月他去汴梁视察，其重要目的就是要考察能否在这北宋旧都再造皇城。考察结果，认为不适于建都。经过反复比较，又觉得凤阳合适。这里前临淮河、长江，交通方便，地势险要。他的这个想法曾向刘基表露过，刘基婉转表示反对。刘基主要考虑淮河灾祸频繁，地瘠民贫，很难作国家根本重地。另外，还有一个无法启口的理由，就是凤阳一方面是龙兴之地，同时也是勋臣武将的故乡和集中之区，把国家的政治军事中心放在这样的地方，不论是对朝廷还是对这些勋臣都没有好处。朱元璋没有听从劝告，在洪武二年(1369)九月开始了凤阳宫殿大规模修建。很快，他明白了人为地生硬制造一个都城的困难。