ربارهٔ وجه تسمیه حاج بادام دو روایت وجود دارد. همان‌طور که مسلم است کلمه بادام به علت وجود بادام در این شیرینی استفاده می‌شود اما وجود کلمه حاج چه معنی دارد؟ روایت اول دربارهٔ نام شیرینی حاج بادام این است که: یکی از نوادگان حاج خلیفه علی رهبر در مصاحبه‌ای در روزنامه سرمایه دربارهٔ نام شیرینی حاج بادام اینطور بیان می‌کند که وقتی حاج خلیفه به سفر حج مشرف می‌شود، مقداری خوراکی برای توشه راه از یزد با خود می‌برد که یکی از این خوراکی‌ها شیرینی بادامی بوده‌است، وقتی حاج خلیفه از سفر حج بازمی‌گردد متوجه می‌شود که مقداری شیرینی بادامی در جیب‌شان باقی مانده‌است و اصطلاحاً می‌گویند این شیرینی‌ها نیز حاجی شده‌اند.