प्रत्येक भारतीय को खादी के वस्त्र पहनाने का आँधीजी का स्वप्न कुछ हिस्सों तक सीमित रहने के निम्नलिखित कारण थे-
⦁ भारत का उच्च अभिजात्य वर्ग मोटी खादी के स्थान पर हल्के व बारीक कपड़े पहनना पसंद करता था।
⦁ अनेक भारतीय पश्चिमी शैली के वस्त्रों को पहनना आत्मसम्मान का प्रतीक मानते थे।
⦁ सफेद रंग की खादी के कपड़े महंगे थे, तथा उनका रख-रखाव भी कठिन था, जिसके कारण निम्न वर्ग के मेहनतकश लोग इसे पहनने से बचते थे। इसलिए महात्मा गाँधी के विपरीत बाबा साहब अम्बेडकर जैसे अन्य राष्ट्रवादियों ने पाश्चात्य शैली का सूट पहनना कभी नहीं छोड़ा। सरोजनी नायडू और कमला नेहरू जैसी महिलाएँ भी हाथ से बुने सफेद, मोटे कपड़ों की जगह रंगीन व डिजाइनदार साड़ियाँ पहनती थीं।