El Silmarillion, sin duda

En mi opinión, es imprescindible haberse leído antes el Silmarillion, porque es el que da la base a todos los demás libros, y sin él no entenderías gran parte de lo que se cuenta tanto en los libros de la Historia de la Tierra Media como en los de la Historia de El Señor de los Anillos.

De todos modos, para aclararte mejor esta duda, tienes una estupenda FAQ en la sección ya conocida (tienes el enlace aquí, a la derecha), titulada:
"He leído El Señor de los Anillos y El Hobbit, ¿qué tengo que leer ahora?"

Como ves, contestará muy fielmente a tu pregunta (bastante frecuente, por otra parte ).

Saludotes para todos y todas