Die Anfänge des Archivs reichen in das frühe 12. Jahrhundert zurück. Die für die Stadt wichtigen Schriftstücke hatten 1322 noch Platz in einer Kiste im Hause eines Patriziers. Ihr Umfang wuchs aber auf dem Weg Kölns zur freien Reichsstadt rasch an. Die Schriftstücke dienten allgemeinen Verwaltungsaufgaben und als Beweismittel bei Streitigkeiten. Als der Rat 1406 den Bau des Rathausturms beschloss, gehörte auch ein Archivgewölbe zum Bauprogramm. In dieser Zeit wurde das erste, noch heute erhaltene Archivinventar angelegt.
Das Ende der reichsstädtischen Zeit durch die französische Besatzung (1794-1814) und die Vereinigung mit Frankreich brachten tiefgreifende Veränderungen durch die Systematisierung und Neuordnung der Verwaltung. Weiterhin diente das Archiv zunächst ausschließlich den Zwecken der Stadtverwaltung. Erst seit etwa 1850 wurde es zunehmend von Wissenschaftlern aufgesucht, bis es sich mit der Satzung des Jahres 1881 der wissenschaftlichen Forschung öffnete.
Ein repräsentatives neugotisches Gebäude bei St. Gereon bezog das Archiv 1897 zusammen mit der Stadtbibliothek. Wichtige Zuwächse erhielt das Archiv durch die Eingemeindung bisher selbständiger Städte und Gemeinden seit 1888.
Den Zweiten Weltkrieg überstanden die ausgelagerten Archivbestände ohne Verluste. Dagegen wurden die damals noch in den städtischen Dienstgebäuden lagernden Akten, die die Zeit von etwa 1927 bis 1945 umfassten, während des Krieges weitgehend vernichtet.
Für das seit 1945 sprunghaft angewachsene Verwaltungsschriftgut bot der moderne, ab 1971 genutzte Neubau an der Severinstraße ausreichend Platz. Sein oberirdischer Magazinbau wurde wegen seiner zweckmäßigen Konstruktion, die eine natürliche, von aufwändigen technischen Einrichtungen unabhängige Klimatisierung ermöglichte, als „Kölner Modell“ zum Vorbild für viele Archivbauten in aller Welt.
Der Einsturz des Archivs am 3. März 2009 im Zusammenhang mit dem U-Bahn-Bau forderte zwei Menschenleben in benachbarten Häusern und zerstörte oder beschädigte große Teile der Archivbestände.
