在19世紀社會文化藝術風氣的影響下，深受洪堡兄弟影響的普魯士國王弗里德里希·威廉三世下令建造一座博物館，用以展示收藏的藝術品。博物館選址在當時普魯士王宮的對面，附近有兵工廠和柏林大教堂。這構成了當時普魯士首都的中心標誌性建築群。博物館最初叫皇家博物館（Königliches Museum），1845年改為現名。
在舊博物館之後，博物館島陸續建起新博物館、舊國家畫廊等四座博物館，形成一個博物館建築群。舊博物館自1904年起以收藏古典藝術品為主。在第二次世界大戰的最後兩年裡，舊博物館遭到嚴重地損壞。二戰後，博物館島被東德所控制，並開始著手對舊博物館進行修復，該項工作一直持續到1966年。自這之後，舊博物館主要展覽東德的當代藝術和舉辦特別展覽為主。
兩德統一以後，在舊博物館的一樓開始重新展出古希臘藝術品。在2010年在二樓新增了伊特魯里亞和古羅馬藝術品的展覽。目前舊博物館在「博物館島藍圖2015」（Masterplan Museumsinel Berlin 2015）的改造計劃當中