Među mnogim Kubancima koji su bježali iz "socijalističkog raja" Fidela Castra nalazi se čak i član njegove vlastite obitelji. Naime, Castrova sestra Juana pobjegla je u južnu Floridu i brata zove "čudovištem" s kojim nije pričala više od četiri desetljeća. No, kada su kubanski emigranti slavili Castrovu bolest 2006. godine, ona je rekla da tuguje jer se ipak radi o njezinoj obitelji.
Castrov najstariji sin Fidelito (koji mu izrazito nalikuje!) bio je dugo jedino službeno priznato dijete kubanskog vođe, te je radio kao nuklearni znanstvenik na Kubi do ranih 1990-ih, kada ga je otac smijenio s položaja iz razloga koji nikada nisu objavljeni. Najstarija kći Alina Fernandez rođena je pak u izvanbračnoj vezi s udanom "posvudušom", i otvoreno je kritizirala svog oca na izbjegličkom radiju u Miamiju.
Juanita Castro žestoko je kritizirala svog brata Fidela Castra, optuživši ga da je porobio sve Kubance u svojoj borbi za moć
Uz brojne Fidelove vanbračne "izlete", najdulja veza njegovog života bila je sa Soto del Valle, plavom zelenookom bivšom učiteljicom koju je upoznao 60-ih tijekom kubanske kampanje opismenjavanja. Iako su zajedno bili više od četiri desetljeća, Soto je rijetko viđena u javnosti, a nikada se nije pojavljivala s Castrom dok je bio na vlasti.
Kubanski vođa svoj je privatan život čuvao strogo izvan očiju javosti i informacije o članovima njegove obitelji bile su državna tajna. Sa Soto je imao pet sinova koje je nazvao prema Aleksandru Velikom: Alexis, Alejandro, Angelito, Alexander i Antonio. (I sam Fidel Castro tokom gerilskog rata nadjenuo si je ime Alejandro.)
Nitko od njegovih sinova nije se bavio politikom. Antonio je ortoped i bivši službeni liječnik kubanske baseball reprezentacije.
"Komandantova žena" počela se pojavljivati u javnosti tek nakon 2000. godine, a prvi je put uz Castra viđena tek u ljeto 2010. godine, kada se i on prvi put pojavio u javnosti nakon četiri godine.
Fidelova prva supruga Mirta Diaz-Balart rastala se od njega sredinom 1950-ih i sa sobom u SAD povela sina Fidelita (rođ. 1949.), najstarijeg od barem devetero Castrove djece.
No, Castro nije želio da njegov 5-godišnji sin bude pod utjecajem Mirtine obitelji u kojoj je najistaknutiji bio njezin brat Rafael Diaz-Balart, dužnosnik u vladi predsjednika Batiste, kojeg je Castro svrgnuo svojom revolucijom. Dva nećaka Fidela Castra, Mario i Lincoln Diaz-Balart, kasnije su čak na Floridi postali kongresmeni i predstavljali su simbole izbjegličkog otpora novom kubanskom režimu.
"Odbijam čak i pomišljati da bi moj sin mogao spavati jednu noć pod istim krovom s mojim najodvratnijim neprijateljima i primati na svoje nevine obraze poljupce tih jadnih Juda", napisao je Fidel Castro u jednom pismu svojoj polusestri Lidiji 1956. godine.
Dok se u Meksiku pripremao za gerilski rat, Castro je nagovorio Mirtu da mu pošalju Fidelita u dvotjedni posjet, ali ga je zatim odbijao vratiti. No, dok su kasnije Castrove sestre šetale s dječakom u parku u Mexico Cityju, trojica naoružanih izletili su iz automobila i zgrabili Fidelita s namjerom da ga vrate majci.
Nemiran obiteljski život seže do Fidelovog oca Angela Castra, koji je na Kubu doselio iz španjolske Galicije i još je bio u braku sa svojom prvom suprugom kada je zasnovao novu obitelj s Fidelovom majkom Linom Ruz, obiteljskom kućnom pomoćnicom.
Fidelov stariji brat Ramon cijeli je život rančer i tek je povremeno viđen u javnosti, sestre Angela i Emma također su ostale na Kubi, a najmlađa sestra Agustina živjela je dugo u Meksiku.
Iz vanbračne veze s lijepom Natalijom Revueltom, suprugom kardiologa koja se zaljubila u Castra tokom revolucije, rođena je Alina Fernandez 1953. godine. Alina je pobjegla s Kube 1993. s lažnom putovnicom i maskirana perikom, a njezina knjiga memoara izazvala je buru među ostalim članovima obitelji u izbjeglištvu. Juana je 1998. tužila izdavača i sudski izborila 45.000 dolara odštete jer je, po njoj, knjiga klevetala nju i Fidelove roditelje.
Castro je imao još najmanje dvoje vanbračne djece. Jorge Angel Castro i dalje živi na Kubi te ima najmanje četvero svoje djece, a Francisca Pupo emigrirala je sa suprugom u SAD 1999. godine.
Fidelov brat Raul, koji ga je naslijedio na čelu Komunističke partije Kube, ima kći Marielu koja se udala za talijanskog biznismena i vodi kubanski Nacionalni centar za seksualnu edukaciju te se zalaže za gay prava.
Raul i dalje organizira obiteljska okupljanja, koja uključuju jahanje na konjima i zajedničke objede na otvorenom.