我刚出月子我爸就逼我离婚

昨天我爸妈让我每个月拿两千当他的生活费。我说我们也想存点钱买房子。今天我爸打电话给我，
我爸：说我跟你商量个事呗，
我：啥事？
我爸：你们要买房子？
我：恩，有这个打算。
我爸：你们先不要买了，过个四五年再买。
我：为啥？
我爸：先把钱拿出来给你弟买个房子。
我：……（我当场不知道该怎么往下接了）
我：为什么让我们拿？就算我同意，我老公也不能同意
我爸：拿不出来就离婚吧（我爸一直都不看好我老公，嫌没钱，离家也远）
我：你们不是有钱付首付吗？再说我现在都有孩子了不让我先给自己买房子，我弟才20岁，还没订婚，为什么先给他买？
我爸：没房子不好找媳妇，再说我现在老了不能挣钱了，把钱都拿去付首付买房子的话，以后怎么买车和拿彩礼钱娶儿媳妇。还有咱们是一家人，谁有困难不得多帮帮
听着这里我都已经浑身发颤了，我真不敢相信这是我爸口里说出来的话。他的每一句话都是在为我弟的将来打算，没有一点是为我考虑的。
我：我现在有孩子了，孩子开销那么大，我们每个月还要交房租，我每次逢年过节都得给你们钱，还有你们从我卡里取走的钱，我再拿钱给你们买房子，我们怎么活？
我爸：他赚钱不够你们花了，就回来吧，别跟他过了，离婚吧！
这是今天我和我爸的对话～各种心酸！你们说我该怎么处理这件事？