Knapp 10 Monate nach Inkrafttreten des ersten Eisenbahnpakets und ein Jahr vor dessen Umsetzung in nationales Recht wurde von der Europäischen Kommission ein zweites Eisenbahnpaket mit dem Titel "Auf dem Weg zu einem integrierten europäischen Eisenbahnraum" vorgelegt. Das Paket wurde im März 2004 vom Europäischen Parlament verabschiedet. Es beinhaltet Rechtsvorschriften hinsichtlich konkreter Öffnungstermine für den Schienengüterverkehrsmarkt, der Harmonisierung der Sicherheitsbestimmungen, der Einrichtung einer Europäischen Eisenbahnagentur sowie zur Änderung der bestehenden Interoperabilitätsrichtlinien. Konkret beinhaltet das Paket folgende Richtlinien und Verordnungen:

Die "Richtlinie über die Eisenbahnsicherheit" in der Gemeinschaft 2004/49/EG ändert die Richtlinien 95/18/EG und 2001/14/EG. Ziel der Richtlinie ist die Entwicklung und Harmonisierung eines gemeinsamen Eisenbahnsicherheitskonzeptes zur Überwindung der Abschottung nationaler Netze und zur Vollendung eines rechtlich und technologisch integrierten Eisenbahnraumes. Zu den Kernmaßnahmen der Richtlinie 2004/49/EG zählen erstens die Schaffung einer für die Sicherheitsüberwachung zuständigen Behörde in jedem Mitgliedsstaat, zweitens die gegenseitige Anerkennung der in den Mitgliedstaaten erteilten Sicherheitsbescheinigungen, drittens die Aufstellung gemeinsamer Sicherheitsindikatoren (GSI) sowie viertens die Festlegung gemeinsamer Regeln für Sicherheitsuntersuchungen.

In der Richtlinie 2004/50/EG werden Bedingungen festgelegt, mit denen die Interoperabilität transeuropäischer Hochgeschwindigkeitsbahnen im gesamten europäischen Schienennetz realisiert werden kann. Die Richtlinie ändert damit die Richtlinien 96/48/EGb und 2001/16/EG. Sie enthält Regelungen hinsichtlich der Zugsteuerung/Zugsicherung und Signalgebung, der Telematikanwendungen für den Güterverkehr, des Verkehrsbetriebs und der Verkehrsteuerung der im grenzüberschreitenden Güterverkehr eingesetzten Fahrzeuge und der Qualifikation des Personals.

Die Richtlinie 2004/51/EG dient der wiederholten Änderung der Richtlinie 91/440/EWG zur "[...] Entwicklung der Eisenbahnunternehmen der Gemeinschaft". Ziel der Änderungen ist es, die Schaffung eines integrierten europäischen Eisenbahnraumes zu beschleunigen. Gemäß der RL 91/440/EWG sollten die Mitgliedsstaaten ab dem 15. März 2008 das Recht haben, grenzüberschreitende Schienengüterverkehre auf allen nationalen Schienenstrecken durchführen zu können. Mit der Richtlinie 2004/51/EG wurde das Öffnungsdatum der nationalen Schienennetze für den grenzüberschreitenden Güterverkehr auf den 1. Januar 2006 vorverlegt. Zusätzlich wurden die Mitgliedsstaaten verpflichtet, ihre Schienennetze für den Güterverkehr zum 1. Januar 2007 vollständig (über grenzüberschreitende Verkehre hinaus) zu öffnen. Im Rahmen des "Vierten Gesetzes zur Änderung eisenbahnrechtlicher Vorschriften" aus dem Jahr 2005 wurde die Richtlinie in deutsches Recht umgesetzt.

Die Verordnung (EG) Nr.881/2004 setzt die Grundlage "[...] zur Errichtung einer Europäischen Eisenbahnagentur ('Agenturverordnung')". Die Agentur dient als Lenkungsinstrument zur Entwicklung gemeinsamer Standards für Sicherheit und Technik. Darüber hinaus fungiert sie als zentrale Koordinationsstelle für alle beteiligten Akteure.