ראשית תורתו למד מפי אביו, החכם עזרא שרים, מחכמי ישיבת 'פורת יוסף'. משנת תש"ד (1944) למד בישיבת 'פורת יוסף', מפי ראש הישיבה, החכם עזרא עטיה, והוסמך לרבנות ולשחיטה.
בשנת תשט"ז (1956) נשא לאישה את מרת רבקה בת החכם רפאל עבו, ראש אבות בתי הדין בתל אביב.
חכם אליהו שרים שימש ר"מ בישיבת 'פורת יוסף', ובשנת תש"ך (1960) מונה לרב שכונת מרכז מסחרי בתל אביב (באזור שוק העלייה ושוק לוינסקי), ולסופר בית הדין בפתח תקווה.
בשנת תשכ"א (1961) הקים יחד עם חכם שלמה בן שמעון סניף של ישיבת 'פורת יוסף' בתל אביב. בשנת תשכ"ח (1968) הקים את מוסדות 'תורה והוראה' בתל אביב. בשנת תשמ"ז (1987) הקים תלמוד תורה, ובשנת תשנ"ז (1997) ישיבה לצעירים. הוא זכה להעמיד אלפי תלמידים, ובהם תלמידי חכמים ומורי הוראה. מלבד גדולתו בתורה, עסק בסתר בלימוד חכמת הקבלה, והיה נאמן הקדשת הספרדים בציון רבי שמעון בר יוחאי.
חכם אליהו שרים ערך והוציא לאור את סדרת הספרים 'מוסר חכמים השלם', ובהם שמונה כרכים של ספרי החכם יצחק שרים, מגדולי חכמים ארם צובא, ובשולי דבריו הוסיף ביאורים ופירושים, המאירים את דברי המחבר.
באחרית ימיו סבל ייסורים קשים ממחלת כליות, אך המשיך במסירות נפש באמירת שיעורים ובהדרכת תלמידיו.
חכם אליהו שרים נפטר ביום ד' בחשוון תשס"ב (2001).
בנו חכם מתתיהו שרים החליף אותו כראש ישיבת 'תורה והוראה'. בנו חכם דביר שרים אסף מחידושיו, דרשותיו ומכתביו של אביו, והוציאם לאור לאחר מותו, בספר 'דעת אליהו' בשנת תשס"ד (2004).
