Das Rheinische Schiefergebirge ist wie Harz und Frankenwald vorwiegend aus Sedimenten des Devons und Unterkarbons aufgebaut. Diese sind stark gefaltet und mit Ergußgesteinen, Diabasen und Keratophyren, durchsetzt.
Das Gebiet zeigt einen Ausschnitt aus der ehemaligen variszischen Geosynklinale, das ist ein großes Senkungsgebiet (Synklinale) das in variszischer Zeit existierte. Während des Einsinkens kam es zur Ablagerung von Sedimenten, unter anderem auch von Kalken. Später hat dieses Gebiet eine Hebung und Faltung erfahren, trotzdem war es wohl nie ein Hochgebirge, wie man es von den Alpen kennt. Die Heraushebung ist auch nicht in allen Teilen gleich verlaufen. Die südlichen Teile, also Hunsrück und Taunus, wurden stärker gehoben. Diese Hebung setzte erst im späten Pliozän, am Ende des Tertiärs, ein. Das Rothaargebirge ist eine stärkere Aufwölbung, die jüngeren Alters sein muß. Inzwischen ist die Hebung völlig zum Stillstand gekommen.
Das Rheinische Schiefergebirge gliedert sich linksrheinisch in Hunsrück, Eifel und Hohes Venn aus unterdevonischen und älteren Schichten. Rechtsrheinisch gehören Taunus, Westerwald, Siegerland und Sauerland dazu. Der Taunus und das Siegerland bestehen ebenfalls aus unterdevonischen Sedimenten. Der Westerwald und ein Teil der Eifel dagegen aus tertiären und quartären Basalten, ebenso der Vogelsberg. Das Sauerland besteht vorwiegend aus mittel- und oberdevonischen Schichten, vorwiegend Karbonatgesteine. Mehrere Teile dieses Gebiets sind verkarstet: