El Anillo Único era demasiado importante para Sauron para que se lo confiara a otro y no estaba en lugar más seguro que en sus propias manos (porque a ver quien era el guapo que se lo iba a quitar). Así que es difícil imaginar que se lo dejara a los Nazgûl mientras él se iba a corromper a los Numenoreanos.

Hay una referencia al respecto en las Cartas bastante interesante:
"La ´rendición´ personal de Sauron fue voluntaria y fruto de la astucia: ¡logró transporte sin cargo hasta Númenor! Naturalmente, tenía el Anillo Único, de modo que pronto pudo dominar las mentes y las voluntades de la mayoría de los Númenóreanos." (Cartas, p.327)

Al perder su forma corporal tras el hundimiento de Númenor, seguramente aún le quedaba suficiente poder como para llevarse el Anillo de vuelta a la Tierra Media. Al menos está claro que de algún modo u otro volvieron los dos juntos.