No lo veo tan absurdo después de que Smaug le comiera la olla en cómo acabaría destruyendo a Thorin. De hecho en esa escena cuando se encuentran en Erebor a Bilbo lo que le sorprende es que lo primerísimo por lo que pregunte Thorin sea por la piedra.

Yo creo que ya en ese instante Bibo se vuelve suspicaz, y ya cuando Thorin le desenvaina el arma, apaga y vámonos.