Me temo que eso no es en absoluto cierto. Pasado un tiempo absolutamente todos los elfos vuelven de las estancias de mandos. Todos menos la madre de Fëanor, que nunca quiso regresar, o Finwë que eligió quedarse para que su mujer saliera (sí que debían llevarse mal para no poder estar juntos).

Ahora bien, las estancias de Mandos eran una especie de purgatorio y, en función del comportamiento del elda, estaban más o menos tiempo allí confinados. En el caso por ejemplo de Fëanor, no se le permitió abandonarlas hasta el final de los tiempos.

Por otro lado, efectivamente el Glorfindel del Señor de los Anillos es el mismo que muere en la caída de Gondolin.

Y por supuesto que cualquiera que habite en las Tierras Imperecederas puede volver a la Tierra Media. Aquello no es una cárcel ni los Valar los carceleros. De hecho Tolkien barajaba que Celeborn fuera un príncipe Teleri que hubiera vuelto con Galadriel en un barco propio a Endor.