Fred Astaire je, osim kao sjajan plesač i glumac, ostao upamćen i kao čovjek s nevjerojatnim osjećajem za stil. Bio je ikona stila, čak i u poznijem životnom dobu, prepoznatljiv po šeširima, bijeloj kravati, i pingvin sakou koji je, navodno, prezirao nositi. Uživao je najviše u lepršavim odijelima i sportskim jaknama, košuljama u raznim bojama.

Godine 1933. oženio je Phyllis Potter, nasljednicu iz visokog društva New Yorka, iako su se njegova majka i sestra protivile tom braku. Phyllis je izgubila bitku sa rakom pluća u dobi od samo 46. godina i sa Astaireom je provela nezaboravnih dvadeset godina. On je nakon njezine smrti bio slomljen.

Astaire je nakon gubitka supruge rijetko viđen u Hollywoodu. Posvetio je svoje vrijeme djeci i svojim hobijima – konjskim trkama, sviranju bubnjeva, pisanju pjesama i igranju golfa. Bio je blizak prijatelj s Clarkom Gableom i Gregoryjem Peckom.

Glodine 1980. se ponovo oženio i to kada je napunio 81. godinu. Robyn Smith je bila od njega mlađa 45 godina. Već tada je bila poznata u visokom društvu čiji status je zapečatila prvo brakom sa jednim od Vanderbiltovih sinova i kasnije Astaierom. Čak se pojavila i na nekoliko naslovnih stranica poznatih američkih magazina.

Fred Astaire nikada nije pristao da se napravi njegov biografski film iako su mu nudili nevjerojatne cifre. “Koliko god mi ponudili – a ponude dolaze stalno – neću se prodati”, rekao je jednom. “Vrhunski plesač”, kako ga je nazvao tadašnji američki predsjednik Reagan, preminuo je 22. lipnja 1987. godine u Kaliforniji, a iza sebe ostavio ideju da je svaki put moguće preći, samo ako se ne skida pogled sa cilja.