בגיל צעיר התייתם מאביו ועזב את הלימודים בכדי לפרנס ביחד עם אמו האלמנה את אחיו. במקביל לעבודתו ועזרתו בבית הוא למד תורה בכוחות עצמו ללא מורה או רב מסוים.
בשנת תר"ף (1920), בהגיעו לגיל שמונה-עשרה, החליט לממש את תשוקתו ללימוד תורה מעמיק והלך ללמוד אצל רבה הראשי של בון, חכם יעקב הכהן, שכבר לאחר שנתיים, בשנת תרפ"ב (1922), הסמיכו כרב ומורה הוראה בישראל. כדרך חכמי הספרדים, לא רצה חכם רחמים נאהורי להנות מכתרה של תורה, ועל-כן התפרנס כשוחט ואף פתח חנות בשר ועבד בה כקצב.
בשנת תרצ"ז (1937), לאחר מותו של חכם יעקב שושנה, רב העיר בון, ביקשו ראשי הקהילה מחכם רחמים נאהורי לכהן כרב העיר. חכם רחמים נאהורי קיבל על עצמו את התפקיד, והחל להתמודד עם ההשפעה הצרפתית העמוקה, שדחקה את לימודי התורה לשולי החינוך. חכם רחמים נאהורי פתח תלמוד תורה יומי לילדים לאחר שעות הלימודים, ואף ייסד מחנות קיץ תורניים בחופשות הקיץ. בהמשך הכשיר תלמידים ללימודים בישיבות מחוץ לאלג'יר, ואף ייסד בית ספר לרבנים בעיר הבירה אלג'יר.
בשנת תש"ה (1945), עם תום מלחמת העולם השנייה, חכם רחמים נאהורי ארגן את עניני הכשרות והשחיטה בעיר. כל ההכנסות היו קדש לקופת אליהו הנביא - קופת גמילות החסדים של הקהילה.
בשנת תשכ"ב (1962) עם קבלת אלג'יר עצמאות, נותר חכם רחמים נאהורי בעירו כל עוד נותרו בעיר מניין יהודים. כשעזבו עזב עימם לפאריס, והתמנה כאב בית דין. גם בפאריס השרה אווירה של קדושה על רבים מתושבי העיר. הוא פעל לפתיחת מקוואות, חנויות, מסעדות ואטליזים כשרים.
בשנת תשמ"ה (1985) ביום כ"א בתמוז, נפטר חכם רחמים נאהורי, ונקבר בהר הזיתים בירושלים. לאחר מותו הוקמה ישיבת 'כיסא רחמים' בסנהדריה, הקרויה על שמו.
חכם רחמים נאהורי לא כתב וסידר את חידושיו על-מנת להדפיסם, אולם תלמידיו קבצו אחר פטירתו קובץ של חידושים, תשובות ומכתבים שנקרא 'רחמיך הרבים'. חלק נוסף מכתביו הודפסו (בהשתתפות רבנים נוספים מדורו) באסופת מאמרים ודרושים שהתפרסמו בירחון 'הירח' ואוגדו לספר.
