Si... con uno straccio o una spugna (meglio se mai usati o cmq ben lavati) e vai
Se l'acquario nn è molto grande puoi appoggiarlo sulla vasca da bagno (sotto ci metti un asciugamano così nn rischi di far saltare gli angoli muovendolo o di rigarla) e lasci poi scorrere dentro l'acqua per sciacquarlo