离婚时处理房产的贷款责任，首先要看房产的性质。如果房产是婚后共同购买的，那么房贷通常属于夫妻共同债务，双方都有责任偿还。这种情况下，双方可以协商决定谁来承担剩余的房贷，或者协商将房产卖掉，用卖房款偿还贷款。如果协商不成，法院会根据具体情况判决房产归属和贷款承担方式。

如果房产是一方婚前购买，婚后用夫妻共同财产还贷，那么房产一般归购房一方所有，但需要对另一方进行补偿，补偿金额包括共同还贷部分及其增值部分。剩余的房贷通常由购房一方继续承担。

如果房产是婚后共同购买且有贷款，但双方都不想要房产，可以通过拍卖或变卖房产，用所得价款偿还贷款，剩余部分再进行分割。

比如，小琪和小健在婚后共同购买了一套房产，并共同向银行申请了房贷。后来两人离婚，约定房产和房贷都归小健所有。但小健未按约定偿还房贷，导致房地产开发公司承担了担保责任，划扣了保证金。房地产开发公司随后将小琪和小健告上法庭，要求两人共同偿还债务。法院最终判决，房贷属于夫妻共同债务，即使离婚协议约定房贷由小健承担，但这不能对抗第三人，小琪和小健仍需共同偿还债务。

如果你面临离婚时有房贷需要处理的情况，首先可以尝试和对方协商，明确房产归属和贷款承担方式。如果协商不成，建议咨询专业律师，了解自己的权利和义务，必要时可以通过法律途径解决。在处理过程中，记得保留好购房合同、贷款还款记录等重要证据，以备不时之需。