1975માં સુષ્મા સ્વરાજના લગ્ન સ્વરાજ કૌશલ સાથે થયા હતા. સુષ્મા સ્વરાજના પરિવારમાં એક ભાઈ, એક બહેન, એક દીકરી છે. સુષ્મા સ્વરાજને એક દીકરી જ છે, તેનું નામ બાંસુરી સ્વરાજ છે. બાંસુરી સ્વરાજે લંડનમાં ઓક્સફોર્ડ યુનિવર્સિટીથી લોની ડીગ્રી મેળવી છે અને હાલમાં પિતાની સાથે દિલ્હી હાઈ કોર્ટ અને સુપ્રીમ કોર્ટમાં પ્રેક્ટિસ કરે છે.
નોંધનીય છે કે લલિત મોદીના વકીલની પેનલમાં બાંસુરીનું નામ આવતા સુષ્મા સ્વરાજ વિવાદમાં આવ્યા હતા. સુષ્મા સ્વરાજ પર મોદીને મદદ કરવાનો આરોપ લાગ્યો હતો. સુષ્માની દીકરી બાંસુરી એ લીગલ ટીમની સભ્ય હતી જેનો ઉલ્લેખ લલિત મોદીએ પોતાના ટ્વિટમાં કર્યો હતો. તેમાં સુષ્મા સ્વરાજની દીકરી સહિત આઠ વકીલના નામ હતા. આ લીગલ ટીમે હાઈકોર્ટમાં લલિત મોદી માટે દલીલ કરી હતી અને તેનો પાસપોર્ટ રદ્દ કરવાના નિર્ણયને પડકાર ફેંક્યો હતો. હાઈકોર્ટની ડિવિઝન બેંચે લલિત મોદીના પક્ષમાં નિર્ણય આપ્યો હતો અને તેના પર લલિત મોદીએ ટ્વિટ કરીને પોતાની લીગટ ટીમને અભિનંદ આપ્યા હતા.