y conviene recordar que Sauron ...

... había luchado contra Elendil y Gil Galad, y aunque éstos habían muerto, él no estaba en su mejor momento.

Por otra parte, no es lo mismo que te quiten el anillo a que tú te lo quites. Bilbo no se volvió loco cuando lo dejó, y sin embargo, Gandalf menciona que no podría quitárselo a Bilbo (me parece), sin arruinarle la mente.

Un saludo