Secondo me 2 pesci rossi in 40 litri, non è poi una cosa così "tragica"...anche senza filtro.
Se fai dei cambi di circa 1/3 di acqua ogni 2-3 giorni e sifoni il fondo, dovrebbe andar bene; considera però che ti si faranno le alghe sulle pareti della vasca, quindi i pesci li devi guardare dall'alto tipo "laghetto", per capirci.
Sul fondo metti ghiaia grossa che è più facile da sifonare e se puoi, metti anche un vasetto con una piccola pianta acquatica che esce dall'acqua, qualche ossigenante...et voilà, il laghetto è servito
Ovviamente i cambi falli con acqua lasciata decantare e biocondizionata...