Rođen je u Montrealu 21. rujna 1934. i odrastao je u dobrostojećoj obitelji. Njegov otac Nathan, čija je obitelj emigrirala iz Poljske u Kanadu, bio je vlasnik uspješne trgovine odjeće, a umro je kad je Leonard imao 9 godina. No, ostavio mu je financijski fond koji mu je omogućio da kasnije počne ostvarivati svoje književne i glazbene ambicije. Majka Masha bila je medicinska sestra, čiji je otac bio rabin. – ‘Moja majka Maša je Ruskinja, rođena je u Rusiji i kao poodrasla djevojka došla je u Kanadu. Ona nikada ne govori o svojoj prvoj mladosti, o danima proživljenim u Rusiji. Nikada je nismo ni čuli da govori ruski, kao da se trudila da nas spriječi da se u nama razvije eventualna ljubav ili interes prema toj dalekoj zemlji.’

Cohen je obožavao svoju majku, a od oca je naslijedio besprijekorni ukus za odjeću. Njegov je ritual prije svakog koncerta bio poliranje vlastitih cipela. Nikada nije bio glazbeni virtuoz, a osnove gitare naučio je od jednog plesača flamenka u Montrealu. Pjesnički mu je uzor bio Federico Garcia Lorca i toliko ga je nadahnuo da je svoju kćer nazvao po njemu.