Smatra se da je najstarije prapovijesno naselje na području grada nastalo na dravskoj obali na danas jedva uočljivom uzvišenju što se pruža smjerom istok-zapad u sjevernom dijelu Retfale. Tijekom prapovijesnih i ranih povijesnih razdoblja na prostoru danas omeđenom Strossmayerovom ulicom na jugu, Petöfijevom s istoka i sjevera, Mlinskom ulicom sa zapada nastala su, živjela i nestajala naselja mnogih naroda i kultura od najstarijeg neolitika do srednjeg vijeka.
Krajem I. stoljeća prije Krista Rimljani su osvojili gotovo cijelu Panoniju. U ovom dijelu Panonije na malo povišenoj desnoj obali Drave, osnovali su vojnički logor imena Mursa. Zbog močvarnog područja ovo najveće naselje u Donjoj Panoniji nastalo je u današnjem Donjem gradu. Obuhvaćalo je pravokutnu površinu, i to: uz obalu Drave na sjeveru, od prostora (današnje) Carinarnice na zapadu, do Trga bana Josipa Jelačića na istoku i Frankopanske ulice na jugu. Pretpostavljeni vanjski opseg Murse zauzimao je gotovo 516.800 m2.. (Mursa je potpuno napuštena 441. godine nakon provale Huna.)
Kasno srednjovjekovni Osijek izgrađen je na području današnje Tvrđe, zapadno od područja na kojem je postojala i nestala rimska Mursa. Premda je novo naselje postojalo već stoljećima, u povijesnim se vrelima spominje prvi put 1196. godine u ispravi hrvatsko-ugarskog kralja Emerika, i to u mađarskom obliku Ezek. U Osijek su navraćali brojni trgovci, putnici i namjernici iz udaljenijih krajeva budući da je Osijek sredinom 12. stoljeća nadaleko poznato trgovište i mjesto kod kojeg se prelazila Drava. U drugoj polovici 15. stoljeća Osijek je mogao imati oko 2.000 stanovnika. Većina građana bili su obrtnici (krojači, zlatari, kovači, mlinari, krznari, opančari i postolari) koji su podmirivali potrebe mjesnog i dijela pokrajinskog tržišta. Osim prometnog, trgovačkog, obrtničkog, upravnog i vlastelinskog središta razvio se Osijek i u vrlo značajno kulturno žarište Slavonije.
