בשנת תרכ"ח (1868) עלה ארצה עם אשתו אסתר מזל-טוב, שני בניו בן-ציון ומאיר, ובתו היחידה קלרה, והתיישב בירושלים. מיד עם בואו נתקבל כחבר בית דין בבית דינו של חכם הראשון לציון יעקב שאול אלישר.
בשנת תרל"ג (1873) נשלח כשליח דרבנן מטעם הכולל הספרדי בירושלים לטורקיה ולאוסטריה. בביקורו בווינה נתקבל לראיון אצל קיסר אוסטריה, פרנץ יוזף הראשון. בשנת תרל"ו (1876) חכם חיים רחמים יוסף פרנקו יצא שוב כשליח דרבנן מטעם כוללות חברון לאלג'יר, טוניס ולוב.
בשנת תרל"ח (1878) חכם חיים רחמים יוסף פרנקו התמנה לרבה של העדה הספרדית בחברון. הוא היה מחלוצי היציאה מחומות הרובע היהודי בחברון, ועודד יהודים אחרים ללכת בעקבותיו.
בשנת תרנ"ג (1893) חכם חיים רחמים יוסף פרנקו הקים בחברון את בית החולים 'חסד לאברהם' על שם חכם אברהם אזולאי, שנודע היום כ'בית הדסה'.
חכם חיים רחמים יוסף פרנקו נלקח לבית עולמו ביום כ"ט תשרי תרס"ב (1901) ונטמן בבית העלמין העתיק בחברון. עם הגעת הידיעה על מותו לירושלים, הוכרז ביטול המלאכה, ויהודים ומוסלמים באו להשתתף בלוויה.
חכם חיים רחמים יוסף פרנקו כתב חיבורים רבים, ביניהם: ספרי השו"ת - שערי רחמים' ו'אות רחמים'. הספר 'ויצבור יוסף' - אספת דינים ושאלות על הש"ס, וספרי דרושים בשם "מידת הרחמים" ו"יוסף חי" שנשארו בכתב יד. כמו כן חידושי תורה רבים שלו פורסמו בביטאונים 'תורה מציון' ו'המאסף'.
