我和先生结婚时,我先生借了他亲戚一笔钱用于支付房屋首付,当时我先生签了借条,写明该笔钱用于购买房屋,但借条上没写归还时间。当时口头约定10年左右时间归还(据此应该是2020年归还),利息按照商业利率。现我们已有宝宝,迫切需要更宽敞的居住,我们决定置换房屋。但现在债权人要求我们先用房屋出售款还清之前的欠款,并说明按照法律,房屋置换时应该付清所有之前的银行贷款及个人债务。