પરિવારે પ્રખમ સ્વામી બાપાને નાની વયે જ સાધુ બનવા માટે ઘરેથી વિદાય આપી હતી અને આજે જયારે અમદાવાદમાં મુખ્ય સ્વામી શતાબ્દી ઉત્સવ ઉજવાઈ રહ્યો છે,ત્યારે બાપાના પરિવારને કેમ ભુલાય? પ્રમુખસ્વામી મહારાજનો પરિવાર હાલમાં વડોદરા શહેરમાં રહે છે. વડોદરાના અટલાદરા વિસ્તારમાં આવેલા અક્ષર દર્શન બંગલામાં રહેતા અશોકભાઈ પટેલ પ્રમુખસ્વામી મહારાજના ભત્રીજા છે. આજે પણ અશોકભાઈએ એ પારણું રાખ્યું છે જેમાં બાપા ઝૂલતા હતા. આ ઉપરાંત બાપાની અસ્થિ પણ તેમની પાસે સુરક્ષિત રાખવામાં આવી છે.
સ્વામી બાપાને ત્રણ બહેનો અને ત્રણ ભાઈઓ હતા. ડાહ્યાભાઈ, નંદુભાઈ અને શાંતિલાલ (પ્રમુખ સ્વામી મહારાજ). બહેનોમાં સૌથી મોટા કમલાબેન હતા, ત્યારબાદ ગંગાબેન અને સવિતાબેન હતા. બે બહેનના લગ્ન ભાયલી ગામે અને એક બહેનના લગ્ન ઉમરેઠના ખડ ગામે થયા હતા અને ગંગાબેન પિતાના ઘરે જઈને સુખી જીવન જીવતા મૃત્યુ પામ્યા હતા. સ્વામી બાપાના ભાભી જશોદાબેનનું થોડા દિવસ પહેલા અવસાન થયું હતું.
પિતાના મોટા ભાઈ સ્વ. ડાહ્યાભાઈના પુત્ર અશોકભાઈ અગાઉ ખાનગી કંપનીમાં નોકરી કરતા હતા અને 2014 થી મેડિકલ ઓક્સિજનનો વ્યવસાય ચલાવે છે. તેમના પત્ની ગૃહિણી અને સત્સંગી કાર્યકર છે. વધુમાં, હાલમાં પ્રમુખ સ્વામી શતાબ્દી ઉજવણી દરમિયાન સ્વામીનગર ખાતેના મંડળના સંચાલનની જવાબદારી સંભાળી રહ્યા છે. અશોકભાઈના પુત્ર પરેશ (26)એ ઈલેક્ટ્રીકલમાં ડિપ્લોમા કર્યું છે અને હાલમાં તે તેના પિતાના વ્યવસાયમાં વ્યસ્ત છે. અશોકભાઈની 20 વર્ષની દીકરી વિધિ કોમ્પ્યુટર સાયન્સની ડિગ્રી મેળવી રહી છે.