Het sportcomplex van Olympia werd langzaam aangelegd. In de begintijd van de Olympische Spelen was er niet meer dan een zanderige baan, die het stadion werd genoemd en 332 meter lang was, waarop de eerste hardloopwedstrijden werden georganiseerd. Naast deze baan waren er geen faciliteiten voor deelnemers, toeschouwers en scheidsrechters. Ook waren er geen slaapplaatsen waardoor er werd overnacht in de openlucht.
Omdat de wedstrijdbaan niet ovaal was, zoals tegenwoordig, moesten de hardlopers over de langere afstanden van twee of vierentwintig keer de dromos aan het einde van de baan omkeren. Toeschouwers konden hun plaats in de beginperiode zoeken op een heuvel aan weerszijden van het stadion. Niet veel later zouden er houten tribunes worden gebouwd.
Zo simpel als de Olympische Spelen ooit begonnen, zo uitgebreid werd het sportcomplex van Olympia enkele eeuwen later. In een periode van honderden jaren herrezen er rond het middelpunt, de tempel van Zeus, tal van tempels, altaren, schathuizen, zwembaden en badhuizen. Voor de Hellanodikai, de organisatie van de Spelen, werd het Bouleuterion gebouwd, een schitterende vergaderzaal naast de tempel van Zeus. Achter de tempel van Zeus bevond zich het heilige gebied, de Altis, waar ook de heilige olijfboom stond waar men met een gouden sikkel takken afsneed voor de winnaars.
Ook herrezen er sportaccommodaties zoals het hippodroom voor wagenrennen en paardenraces, het Palaesta voor verspringers en vechtsporters en het Gymnasion voor hardlopers, speer- en discuswerpers en voor scheidsrechters en hoogwaardigheidsbekleders werden er verblijven gebouwd.
Opgemerkt moet worden dat er tijdens de spelen van 520 voor Christus nog geen tempel ter ere van Zeus was gebouwd. In 600 voor Christus werd al wel het Heraion gebouwd ter ere van Zeus en zijn vrouw Hera. De tempel ter ere van Zeus werd pas gebouwd ter gelegenheid van de Spelen van 468 voor Christus. Pas tijdens de Spelen van 460 of 456 werd de tempel ingewijd. De tempel is dus gebouwd tijdens de bloeitijd van Athene, in de 5e eeuw voor. Hieruit blijkt al dat net als de Spelen zelf ook het sportcomplex van Olympia, zoals wij het kennen uit de laat-Griekse tijd en Romeinse tijd, stapje voor stapje groeide.