Por volta de 400 a.C., os celtas chegaram às regiões central e oriental da Áustria. Por volta de 15 a.C., os romanos dominaram a parte ao sul do Danúbio e tornaram esse território parte de seu Império. No final do século II d.C., tribos do norte começaram a invadir a Áustria romana. Em 476 d.C., o Império Romano ruiu. Durante o período de declínio, grupos asiáticos, germânicos e eslavos se estabeleceram na Áustria.
Do final do século VIII a 814, a região foi dominada por Carlos Magno. O rei da Germânia, Oto I, passou a reinar sobre a Áustria em 955, sendo coroado imperador em 962. Até 1806, o território governado por reis germânicos constituiu o Sacro Império Romano-Germânico, tendo a Áustria se tornado o país mais importante em 976, o imperador Oto II passou o controle do nordeste da Áustria a Leopoldo I, da família Babenberg. Em 1156, Frederico I declarou a região um ducado.
