Definitivamente es posible cultivar plantas sin un sustrato de tierra.
Hay incluso un montón de plantas que no tienen sus raíces en la tierra, tendrás que unirlas a una roca o a un trozo de madera. (https://en.wikipedia.org/wiki/Anubias) o un helecho de Java, por ejemplo. Las tengo ambas unidas a un trozo de madera en mi tanque, y están creciendo muy bien.
Para otras plantas depende un poco del tamaño de los guijarros que tengas. Al principio es posible que tengas que sujetarlos con una roca, o también atarlos a algo para darles la oportunidad de crecer sus raíces alrededor de los guijarros.
Sin embargo, las plantas no te ayudarán a resolver el problema de la caca de los peces. Probablemente se usará algo, pero aún así tendrás que hacer el mantenimiento “normal” de la pecera (como los cambios de agua). Y para cultivar plantas con éxito, también tendrás que usar fertilizante y/o tener bolas de arcilla cerca de las raíces.
Definitivamente recomiendo añadir plantas reales a una pecera, pero no creo que ayude con el problema que intentas resolver.