Quizás no sea una fanfarronada. Sauron era un Maia, lo mismo que Gandalf, con lo cual le podría haber presentado batalla duramente (por eso no era un "asunto menor"). Pero los Istari no podían demostrar su poder, a menos que fuera realmente necesario, de ahí que no tenga sentido que le recuerde a Gandalf que no tiene poder.

Si podía evitar una confrontación directa con Sauron, tenía que hacerlo y guardar su poder para cuando realmente lo necesitara.

Esa es mi teoría.