Nazvan je Thomas po svom djedu, a rođen je u edinburškoj četvrti Fountainbridgeu, u Škotskoj. Njegova majka Euphemia “Effie” McBain McLean je bila čistačica, a otac Joseph Connery je bio tvornički radnik i vozač kamiona. Njegov djed je emigrirao iz Irske u Škotsku sredinom 19. stoljeća.

Seanov prvi posao je bio raznošenje mlijeka nakon čega se pridružio Kraljevskoj mornarici. Tijekom službe u mornarici stekao je dvije tetovaže o kojima na njegovoj službenoj web stranici stoji: “Za razliku od mnogih tetovaža, njegove tetovaže nisu bile neozbiljne i odražavaju njegove cjeloživotne obaveze. Njegova porodica i Škotska. Jedna tetovaža je bila u čast njegovih roditelja (Mum and Dad), a druga je bila samorazumljiva – Škotska zauvijek (Scotland Forever).

Nakon službe u mornarici, Connery je obavljao mnoge poslove, između ostalog bio je vozač kamiona, spasioc na bazenima Portobello, model umjetnik edinburškog College of Art, a kasnije je čak i laštio mrtvačke kovčege. Modeliranjem je zarađivao 15 šilinga za sat vremena.

U dobi od 18 godina Connery se počeo baviti i bodybildingom, a od 1951. godine je naporno vježbao s jednim bivšim instruktorom teretane u britanskoj vojsci

Bio je i strastven nogometaš, u mlađim je danima igrao za Bonnyrigg Rose. Dok je bio na turneji sa South Pacificom, Connery je igrao nogometnu utakmicu protiv lokalnog tima koju je skautirao legendarni Matt Busby, tadašnji menadžer engleskog nogometnog kluba Manchester Uniteda.

Prema izvještajima, Busby je bio impresioniran njegovom fizičkim junaštvom i ponudio je Conneryju odmah nakon utakmice ugovor vrijedan 25 £ tjedno. Sir Thomas Sean Connery priznaje da je bio u iskušenju prihvatiti ugovor, ali kako je i sam rekao “shvatio sam da vrhunski nogometaš možeš biti do 30 godina starosti, a ja sam već imao 23 godine. Odlučio sam postati glumac i ispostavilo se da je to bio jedan od mojih najpametnijih poteza.”