Los Silmarils tenían la forma de tres grandes joyas que Fëanor hizo de una materia que se denominó silima y que se parecía al diamante, pero aún más inquebrantable, pues nada en el Reino de Arda podía dañarla o romperla. Dentro de este cristal Fëanor había logrado atrapar la luz mezclada de los Dos Árboles de Valinor, por lo que, aunque los Silmarils estuvieran en la más profunda oscuridad, brillaban con luz propia; pero cuando eran bañados por la luz, la reflejaban con maravillosos matices. Estas joyas, se consideraron como la más grande de las obras realizadas por los Hijos de Ilúvatar y según se nos relata en El Silmarillion, fueron consagradas por Varda, de modo que ninguna carne mortal, ni manos maculadas, ni nada maligno podría tocarlos sin quemarse y marchitarse. Y Mandos predijo que los Silmarils guardaban los destinos de Arda, la tierra, el mar y el aire.

Pero Melkor, que por entonces estaba en Valinor, tras haber sido perdonado por Manwë, codició las Grandes Joyas y con sólo recordar su brillo, un fuego le roía el corazón. Y se dedicó a partir de entonces a propagar sus mentiras, consiguiendo que Fëanor comenzara a guardar las Joyas bajo llave, en lugar de lucirlas en las fiestas. Cuando Melkor, con la ayuda de Ungoliant, mató a los Dos Árboles, Yavanna pidió a Fëanor los Silmarils, pues la Valie creía que con la Luz que se encontraba dentro de las Joyas podría sanar y revivir su creación más querida. Pero Fëanor se negó a entregar sus Joyas, arguyendo que éstas eran obras únicas que jamás podría repetir. Pero mientras tanto, Melkor había llegado a la morada de Fëanor, había asesinado a Finwë y se había llevado los Silmarils. Fëanor lloró la muerte de su padre y decidió vengarse de Morgoth y recuperar las Grandes Joyas y para ello se enfrentó a los Valar pronunciando el Juramento de Fëanor, que marcó el Hado de los Noldor de ahí en adelante. Por otro lado, en su huída, Ungoliant quiso arrebatarle las Tres Joyas a Melkor, y lo hubiera logrado, de no ser por los Balrogs que oyeron el espantoso grito de Melkor (que dio nombre a Lammoth) y se apresuraron a ayudarle.

Cuando Melkor estuvo a salvo en Angband, forjó una gran corona de hierro en la que engarzó los tres Silmarils, pero sus manos se le ennegrecieron quemadas por el contacto con esas joyas sagradas, y desde entonces fueron siempre negras; nunca se alivió tampoco del dolor de la quemadura, ni de la ira del dolor. Y en esa corona permanecieron los Silmarils hasta que en el año 466 de la Primera Edad Beren y Lúthien consiguen robarle una de las Joyas, pues Thingol había pedido un Silmaril para permitir que Beren pudiera desposar a su hija. Pero Carcharoth consiguió arrebatar de un mordisco el Silmaril a Beren (junto con su mano derecha). Y la joya le quemó las entrañas y le hizo enloquecer de dolor, por lo que el gran lobo vagó desde entonces sin rumbo fijo. Beren, Beleg y Thingol junto con Huan salieron en busca de Carcharoth para recuperar la joya y cuando lo encontraron, el lobo de Morgoth fue muerto gracias al gran perro de Valinor, pero en este enfrentamiento Beren y el mismo Huan perdieron la vida.

Fue así como el Silmaril fue a parar finalmente a manos de Thingol, quien no quiso entregarlo a los Hijos de Fëanor y lo mandó engarzar en el Nauglamír, el collar que provocó su propia muerte a manos de los Enanos. El Silmaril fue finalmente recuperado y volvió a manos de Beren y Lúthien, quienes lo conservaron hasta su muerte; y fue entonces cuando un Señor de los Elfos Verdes se lo hizo llegar a Dior, que se había establecido en Menegroth e intentaba restablecer el Reino de Doriath. Pero Dior comenzó a lucir abiertamente el Silmaril, y se negó a entregarlo a los Hijos de Fëanor cuando lo reclamaron, lo que provocó la Segunda Matanza de los Hermanos que tuvo como consecuencia la muerte de Dior, de su esposa Nimloth y la desaparición de sus hijos varones, Eluréd y Elurín. Pero Elwing logró huir con el Silmaril, y se estableció con los restos de su pueblo en la Desembocadura del Sirion, donde más tarde se les unieron supervivientes de Gondolin, entre los cuales se encontraba Eärendil. La hija de Dior y Nimloth y el hijo de Idril y Tuor se acabaron enamorando y se casaron en el año 532 de la Primera Edad. Cuando los Hijos de Fëanor supieron que Elwing estaba viva y que tenía el Silmaril, lo reclamaron, pero la hija de Dior, al igual que su padre, se negó a entregarlo. Y fue así como en el año 538 de la Primera Edad se produjo la Tercera Matanza de los Hermanos, en la que los hijos de Fëanor aniquilaron a los exiliados de Gondolin y a los restos del pueblo de Doriath. Después se supo que Elros y Elrond habían sido capturados y que Elwing se había arrojado al mar con el Silmaril en el pecho, pero que había sido salvada de las olas por Ulmo, que le dio forma de un gran ave blanca en cuyo pecho brillaba el Silmaril. Y fue con esta forma con la que Elwing encontró finalmente a Eärendil, narrándole lo que había sucedido en su ausencia. Y decidieron partir a Valinor con su navío Vingilot, a implorar el perdón y la ayuda de los Valar, para lo cual, Eärendil se colocó el Silmaril que su esposa le había traído en la frente. En Valinor fueron recibidos y escuchados por los Valar y consiguieron su perdón y su ayuda y desde entonces, Eärendil surca los cielos en Vingilot con el Silmaril prendido en la frente.

Los otros dos Silmarils que permanecían en la corona de hierro de Morgoth, fueron recuperados por Eönwë tras la Guerra de la Cólera, en la que el Señor Oscuro fue derrotado. Pero Maglor y Maedhros, tras matar a los guardias del campamento del Heraldo de Manwë, se apoderaron de las dos Grandes Joyas. Maedhros huyó lejos con uno de los Silmarils, pero la Gran Joya le quemaba la mano y el dolor se le hacía insoportable. Lleno de angustia y desesperación, comprendió los males y desgracias que había traído el Juramento de Fëanor, por lo que se arrojó por una grieta ardiente junto con el Silmaril. Maglor, por su parte, tampoco pudo resistir el dolor con el que le atormentaba la joya que había robado, y lo arrojó al mar, y se cuenta que desde entonces anduvo errante por las costas atormentado por todas las malas acciones cometidas en el pasado.

Se dice que cuando sobrevenga la Dagor Dagorath los tres Silmarils serán finalmente recuperados del Aire, de la Tierra y del Mar, y Fëanor entregará las Tres Joyas a Yavanna, con las que ésta devolverá la vida a los Dos Arboles. De esta manera, su luz inundará de nuevo el Mundo, y los Valar serán otra vez jóvenes, y los Elfos volverán a despertar, para así cumplir el propósito que Ilúvatar designó para ellos.