હાર્વર્ડ યુનિવર્સિટીમાં અભ્યાસ કરતી વખતે સ્વામી પારસી વંશીય ભારતીય મહિલા રોક્સનાને મળ્યા હતા. સ્વામીએ પોતાની લવ સ્ટોરી વિશે એક વખત કહ્યું હતું કે, હું રોક્સાનાને વર્ષ 1964માં મળ્યો હતો. ત્યારે તે ગણિત અને અર્થશાસ્ત્રની વિદ્યાર્તીની હતી. મેં તેને રવિશંકર મ્યૂઝિક કન્સર્ટની ટિકિટ વેચવાનો પ્રયત્ન કર્યો. વર્ષ 1966માં અમારા લગ્ન થઈ ગયા. એક ચીની બૌદ્ધે અમારા લગ્ન કરાવ્યા જેના બદલામાં તેણે 40 ડોલર લીધા હતા. લગ્ન સમયે મારા માતા પણ ત્યાં સાથે હતા. સ્વામીના પત્ની રોક્સનાનો પારસી પરિવારમાં મુંબઈમાં જન્મ થયો હતો. તેમના પિતા ઉચ્ચ સરકારી અધિકારી હતા.
સ્વામીના પત્ની રોક્સનાએ પોતાના પતિના જીવન પર પુસ્તક લખ્યું છે. જ્યારે તેમણે આ પુસ્તક લખ્યું ત્યારે કોઈપણ તેનું આ પુસ્તક પ્રકાશિત કરવા માટે તૈયાર ન હતું. બાદમાં રોક્સનાએ ખુદ જ આ પુસ્તક પ્રકાશિત કર્યું. તેમના પુસ્તકનું નામ ‘ઇવોલ્વિંગ વિથ સુબ્રમણ્યમ સ્વામી’ : અ રોલર કોસ્ટર રાઈડ’ છે. આ પુસ્તકમાં તેમણે સ્વામીના જીવનના ઉતાર ચડાવનો ઉલ્લેખ કર્યો છે.
જણાવીએ કે, ગણિતશાસ્ત્રમાંથી વકીલ બનેલ રોક્સના ઘણાં વર્ષોથી સુપ્રીમ કોર્ટમાં પ્રેક્ટિસ કરે છે. તેમણે સુબ્રમણ્યમ સ્વામી દ્વારા દાખલ જાહેરહિતની અરજીની વકાલત પણ કરી છે. સ્વામી અને રોક્સનાના બે દીકરીઓ ગીતાંજલિ અને સુહાસિની છે.
મોટી પુત્રી ગીતાંજલી સ્વામી એ ઉદ્યોગ સાહસિક અને ખાનગી ઇક્વિટી પ્રોફેશનલ છે. તેણીએ એમઆઈટીના અધ્યાપક ડૉ. સંજય સર્મા સાથે લગ્ન કર્યા છે, જે ભારત સરકારના નિવૃત્ત આઇએએસ અધિકારી અને પૂર્વ સચિવ આર્થિક બાબતોના ઇએએસ સરમાના પુત્ર છે. નાની પુત્રી સુહાસીની હૈદર, એક પ્રિન્ટ અને ટેલિવિઝન પત્રકાર છે, જે ભૂતપૂર્વ ભારતીય વિદેશ સચિવ સલમાન હૈદરના પુત્ર નદેમ હૈદર સાથે લગ્ન કર્યાં છે.