Základ novej budovy tvoria ruiny neskororománskeho kostola sv. Columby, svojho času centra najväčšej stredovekej farnosti v Kolíne nad Rýnom. V roku 1945 bola zničená pri nálete takmer na zem, neporušená zostala iba vápencová socha Panny Márie v oltári chrámu, pre ktorú Gottfried Boehm neskôr v roku 1950 postavil špeciálnu kaplnku. Ruiny kostola sa zároveň zmenili na akési pamätné námestie. Začiatkom 70. rokov 20. storočia na jeho území archeológovia objavili pozostatky budov z rôznych epoch kolínskeho obdobia - starorímskej, včasnostredovekej, románskej a gotickej.
Samotný takýto objekt kultúrneho a historického dedičstva je neobvykle ťažké vnímať a uchovať, ale keď sa Múzeum kolínskej diecézy rozhodlo postaviť na svojom mieste - vo vnútri a okolo existujúcich ruín - novú budovu, v ktorej bude vystavená rozsiahla zbierka náboženských predmetov umenia od neskorého staroveku po súčasnosť, sa situácia mnohokrát skomplikovala. O rozšírení múzea sa rozhodlo už v roku 1974, avšak zrúcaniny kostola sv. Columby boli vybrané ako nové miesto až začiatkom 90. rokov. V roku 1997 sa uskutočnila architektonická súťaž, v ktorej zvíťazil projekt vynikajúceho švajčiarskeho architekta Petra Zumthora. Porota ocenila pozoruhodnú zručnosť, s akou dokázal Zumthor spojiť fragmenty 2 000 rokov architektonickej histórie Kolína nad Rýnom (od základov budov starých Rimanov po kaplnku „Madona v troskách“Boehm v roku 1950) do jedného súboru., čo je viac než len súčet jeho častí.
Obnova a konzervácia architektonických pozostatkov trvala niekoľko rokov a samotná výstavba Kolumbovho múzea sa začala až v roku 2003.
Budova pôdorysne pripomína latinčinu L. Je umiestnená v pravom uhle k ulici. Jeho steny lemované plochými a širokými svetlošedými tehlami s hrubými vrstvami pojivovej malty sa nezdajú vďaka jemnej textúre povrchu vôbec výsledkom práce murára. V úrovni prízemia sú do nich zabudované zvyšky múrov kostola a nad nimi sú členené časti „perforácie“a veľké obdĺžnikové okná, kontrastujúce s monumentálnou hmotnosťou steny hrubej 60 cm. Súčasťou plánu kostola je malé štrkové nádvorie na miesto starého farského cintorína. Návštevník do nej vojde cestou z vestibulu do hlavnej „výstavnej siene“prvého poschodia. Táto „hala“je obrovská miestnosť vysoká 12 m, pozdĺž ktorej je položený kľukatý most cez základy starodávnych a stredovekých budov nájdených v dôsledku archeologických vykopávok. Zumthor tu používal umelé osvetlenie veľmi striedmo, takže takmer všetko svetlo vstupuje cez pásy malých otvorov vo vonkajších stenách budovy; zvnútra táto technika ďalej zdôrazňuje zdanlivú podobu týchto múrov, ktorú je možné vnímať ako narážku na princípy gotickej sakrálnej architektúry alebo odkaz na diela vtedajších mystikov. Na rovnakom priestore je vpísaný oktaédr Boehmovej kaplnky, do ktorého je však prístup z vonkajšej strany múzea.
Na konci vedie návštevník most do priestorov bývalej sakristie, zmenenej na malé nádvorie; je tu socha Richarda Serru „Utopený a zachránený“.
Nad prvým poschodím sa nachádzajú ďalšie dve poschodia výstavných hál, spolu šestnásť. Sú koncipované ako samostatne stojace bloky - „domy“, medzi ktorými sú položené „ulice“bieleho terazza; každá takáto hala sa líši od ostatných veľkosťou, spôsobom a intenzitou osvetlenia a spôsobom kontroly. Exponáty sú v nich vystavené bez dodržania chronológie a bez vysvetľujúcich textov a štítkov. Kurátori múzea teda chceli dosiahnuť objektívne vnímanie umeleckých diel publikom.
V projekte múzea v Kolíne nad Rýnom zjednotil Zumthor kultúrne pamiatky z rôznych období - architektonické, situované na mieste a obsiahnuté v zbierke múzea - zdôraznený lakonický formálny architektonický jazyk, zjemnený architektovou pozornosťou na špecifiká hmatové a vizuálne vlastnosti; osobitnú úlohu tu zohráva osvetlenie, ktoré je takmer nedostačujúce na úplnú prehliadku exponátov, ale dodáva ich vnímaniu osobitnú ostrosť. To všetko robí toto dielo, prinajmenšom navonok, podobné náboženským stavbám stredoveku, epochy výstavby zničeného kostola svätého Columbu, ktorý mu dal meno, ako aj doby hegemónie katolicizmu na území Nemecka, ktoré ešte nepoznalo otrasy reformácie. Zároveň použitie techník sakrálnej architektúry pri budovaní múzea - dokonca aj múzea náboženského umenia - núti uvažovať o hlbokej zmene systému priorít moderného človeka, nielen o posune duchovné ideály smerom k „sekulárnejšiemu“obrazu sveta, ale aj k určitému „populistickému“aspektu celej sféry modernej kultúry. Nemalo by sa však zabúdať, že rovnaká architektúra stredovekých katedrál na západe nebola navrhnutá pre hŕstku elity, ale pre všetkých veriacich bez výnimky; Možno Zumthor pokračuje v tejto línii v Kolumbovom múzeu a oslovuje každého z nás prostredníctvom návrhu svojej budovy.