Annulation du contrat de construction

Bonjour,
J'ai signé un contrat de construction depuis le 12 juillet 2004, ils m'ont proposé un terrain non viabilisé tout en m'assurant que la maison serait construite dans les délais (8 mois) et j'ai dû avancer 5% soit 4000€ du prix de la maison depuis la signature + 5% (2600€) pour le terrain.
Rien n'a été fait jusqu'à aujourd'hui et mon accord de prêt est arrivé à terme donc il faut tout reprendre à zéro.
Le permis de contruire vient seulement d'être déposé mais réfusé par la mairie car les travaux de viabilisation ne sont pas terminés.
Je souhaite garder ce terrain mais changer de constructeur et reccuperer mon avance de 4000€. Comment faire?
Le constructeur mais la faute sur le lotisseur. Qui doit payer tous les frais de dossier de la banque engendrer par le renouvellement? Et si la banque venait à refuser le nouveau prêt forcement plus cher du nouveau constructeur (autre modèle de maison souhaitée); puis je pretendre à un dedommagement quelconque?
J'attends vos conseils avant l'envoi de ma lettre d'annulation le 18/07/05 (mon ancien contrat date de plus d'un an donc caduque?).
Merci d'avance.