Sí pueden

Como dice Nuindacil, dos especies diferente sí pueden cruzarse, y, de hecho, el hombre lo viene haciendo desde hace siglos: el mulo con burro y yegua, los mixtos de canario y pardillo, jilguero, verderón... Incluso en la naturaleza se dan a vces, aunque sean raros porque las hembras suelen preferir a los machos de su misma especie (pero fíjate: no siempre).
Indudablemente que para que puedan cruzarse tienen que ser genéticamente lo suficientemente parecidos, y para que resulte un cruce fértil, más aún.
Se sabe que la descendencia entre elfos y humanos es fértil, lo que indicaría una gran proximidad genética. Pero ni siquiera sé si los semiorcos lo eran o no. En cualquier caso no sé por qué te extrañas de que sean próximos. Es más que evidente.
Respecto a si son "razas" o "especies" diferentes... no sé qué decir. Yo me inclino a pensar que son especies diferentes. Hay diferentes especies animales que tienen más diferencias entre sí que las que tenemos las distintas razas humanas o, por supuesto, de nuestros animales domésticos... El término "raza" suele implicar relación con el hombre, pues sólo se suele aplicar al propio hombre y a los animales que ha domesticado y transformado con el tiempo. En la naturaleza no se suele emplear este término, sino los de "especie" y "subespecie", pero tampoco creo que esto tenga demasiado interés aquí. Al fín y al cabo a Tolkien, que dominaba el idioma mejor que nosotros, le gustó llamarlas razas diferentes y no tiene mayor importancia como las llamemos.