この土地に現金で建てる場合は問題ありませんが、住宅ローンを使いたい時、その銀行としては「第１抵当権」でないとお金を貸してくれません（＞＜）

その為には先に残債を返して、抵当権を抹消する事を条件で住宅ローンの融資が決定します。前の家を買った時の住宅ローンがまだちょっと残っている場合、親切な銀行さんだとその残債分もひっくるめて住宅ローンの貸出し金額を増やしてくれるところもあります（額によりますけど！）
銀行の考え方として、もし返済が滞って 貸したお金が取り戻せない場合、土地と上物（うわもの：住宅の事）両方に抵当権を【第１抵当権者】となっておきたいのです。

抵当権に関しては、その土地を売り払う場合にも絡んできます。
抵当権が付いたままの物件を買う人なんていませんから、必ずまっさらにして所有権移転するものです。
売れたお金で残債を返済して、抵当権を抹消して引き渡す事は可能です。

土地や建物の所有権や抵当権を調べる方法は、法務局に行って、土地と建物の『全部事項証明書』（ひと昔前は登記簿謄本と言ってました）をとると分ります。