je ne saurai trop vous conseiller : http://www.gitesdewallonie.be/ , souvent très confortables, munis des accessoires nécessaires pour un petit bout.
La Belgique dispose d'un bon réseau ferroviaire, pourquoi ne pas choisir une chambre en Ardenne pas trop loin d'une gare importante comme Verviers.
Les sites touristiques bruxellois et flamands sont alors rapidement accessibles pour un coût modéré (abts spéciaux, carte d'un jour, un beau jour à ....) voir : http://www.b-rail.be/nat/F/