Petty se je rodil leta 1950 v Gainesvillu na Floridi. Petty je imel grobo otroštvo, toda stisk roke v Elvisu je pri 17 letih sprožil zanimanje za rock glasbo. David Rolland z Broward Palm Beach New Times se je v letu 2014 odpravil na pohod obiskati kraje, pomembne za Pettyja, vključno z njegovim domom iz otroštva:
Pettyjeva prva skupina Mudcrutch je živela na kmetiji v Gainesvillu, ki je bila "umazanija poceni" in "daleč od sosedov, ki bi se lahko pritožili zaradi hrupa", Gainesville Sun je napisal leta 2008.
Red Slater, prijatelj skupine, ki je nekaj let živel na kmetiji, je za Sun povedal:
Skupina se je leta 1974 preselila v Kalifornijo, da bi postala velika, vendar se je skupina razšla, in nekaj bivših članov se je skupaj zbralo Tom Petty in Heartbreakers, ostalo pa je, kot pravijo, zgodovina (čeprav se je Mudcrutch znova združil leta 2007 in izdal dva albumov).
Petty's Encino, Kalifornija, ima kar nekaj zgodovine. Leta 1987 - eno leto, preden so popotniki Wilburys (super skupina Petty, ustanovljena z Georgeom Harrisonom, Bobom Dylanom, Royem Orbisonom in Jeffom Lynnom) izdali svoj prvenec -
požigalnik je zažgal lesene stopnice nepremičnine, in skoraj vse razen snemalnega studia v kleti se je izgubilo. Petty in družina so obnovili kraj in po poročanju Realtor.com:In pridemo do umika Petherjevega jezera Sherwood. Bilo je na prodaj v maju, in je še vedno na trgu za 5,895 milijona dolarjev. Klicani Casa Della Madonna, kraj je bil zgrajen leta 1931 in se počuti bolj kot jezero Como kot Kalifornija. 5.300 kvadratnih metrov lastnine je na skoraj hektarju z zasebnim dok. Dnevna soba ima stene iz lokalnega poljskega kamna, dodatek iz leta 2004 pa je dodal umirjen mojsterski komplet z globoko kamnito kadjo in balkon s kaminom.