Las Ered Mithrin, aunque ricas en minerales, constituyen un lugar remoto y poco explorado. No es hasta finales del segundo milenio de la Tercera Edad cuando entran en la historia. En 1977 una tribu de Hombres del Norte, los Éothéod liderados por Frumgar se instalan en el curso inicial del Anduin, a espaldas de la vertiente sur de las Montañas Grises. Expulsan de la zona a los últimos supervivientes de la parte oriental del reino de Angmar. Entretanto, en 1981, en Moria aparece un Balrog, y los Enanos del pueblo de Durin se ven forzados a abandonar sus milenarias estancias. Náin I lleva a la mayor parte de su pueblo a las Ered Mithrin, mientras que Thráin I se dirige a Erebor en 1999.
En esa época vive en las Montañas Grises Scatha, el gran dragón del norte. Dispone de un gran botín, según se dice robado a los Enanos. Fram hijo de Frumgar vence a Scatha a principios del tercer milenio, pero los Enanos le matan a su vez para recuperar su tesoro. Aunque las Ered Mithrin se ven libradas de dragones durante siglos, hay poca amistad entre Hombres y Enanos. En 2210, Thorin I, hijo de Thráin I llega a las Montañas Grises. Los Enanos prosperan, mientras que los Éothéod abandonan el norte en 2510. Pero en 2570, la riqueza del pueblo de Durin llaman la atención de los dragones de Forodwaith, que se abalanzan contra las Montañas. La guerra entre ambos bandos dura hasta 2589, cuando Dáin I y su segundo hijo Fror son muertos por un gran dragón frío ante sus estancias. La mayor parte de los Enanos abandonan las Ered Mithrin, unos hacia las lejanas Montañas de Hierro, mientras que otros, como Thrór, regresan a Erebor.
Los orcos y trasgos de las Montañas Nubladas, que se multiplican en secreto desde 2480, ocupan las estancias de los Enanos, y acaban controlando el norte de Rhovanion. Siglos más tarde, en 2941, estos orcos se unen al ejército acantonado por Bolg y marchan hacia Erebor, donde serán vencidos en la batalla de los Cinco Ejércitos. La derrota es tal que durante decenios, el Norte se ve librado de los orcos.