גדל בתורה וביראה על ברכי אביו, החכם מארי יוסף הלוי אלשיך. היה תלמידו של דודו, אחי אימו, החכם מארי יחיא בדיחי, ראש הישיבה הכללית 'בית צאלח', כן למד תורה מפי החכם מארי חיים קורח ב'כניס בית אלשיך'.
ראשית תורתו למד בתלמוד תורה בצנעא. אחרי כן למד מפי אביו, מפי דודו הרב בדיחי ומפי הרב חיים קורח.
בשנת תרל"ד (1864) הוסמך כשוחט ובודק, ובשנת תרמ"ד (1874) קבע מקומו כדרשן ומגיד שיעור ב'כניס בית אלשיך'. לפרנסתו עסק במלאכת האריגה והרקמה בחוטי הכסף והזהב, ועיקר חפצו בלימוד התורה.
בשנת תרמ"ט (1889) חכם מארי שלום הלוי אלשיך עזב את צנעא עם משפחתו, בדרכו לארץ ישראל, אך כשהגיע לעיר הנמל חודידה, אסר עליו המושל הטורקי, איוב פאשה, את העלייה לארץ ישראל, והוא נאלץ לשוב לצנעא. כשחזר לעיר הגיש ערעור ושלחו לבית המלכות לקושטא והתמיד בשתדלנותו עד שהאיסור בוטל.
בשנת תרנ"א (1891) זכה לעמוד בראש קבוצת עולים, מבני קהילתו. בדרכם לארץ נפטר אחיו בפורט סעיד. לבסוף זכו ועלו לארץ ישראל, והתיישבו בשכונת נחלת צבי בירושלים. אמו ידידיה, בנו בכורו אליעזר, ובן אחיו יחיא, נספו בירושלים בשבוע הראשון להגעתם.
חכם מארי שלום הלוי אלשיך התפרנס מעבודה בבית החולים 'בקור חולים', אך לאחר זמן קצר למד את מלאכת החייטות, והתפרנס מיגיע כפיו. בשנת תרנ"ג (1902) נבחר לעמוד בראש קהילת יהודי תימן בירושלים, יחד עם חברו החכם מארי אברהם אלנדאף. בשנת תרס"ד (1903) ייצגו השניים את קהילתם ב'כנסייה הגדולה, שארגן מנחם אוסישקין בזיכרון יעקב. בשנת תרס"ד (1904) חכם מארי שלום הלוי אלשיך הקים את חברת 'שיבת ציון' לרכישת קרקעות באזור נבי סמואל. בשנת תרס"ח (1908) השיג חכם מארי שלום הלוי אלשיך, וחברו החכם מארי אברהם אלנדאף וחכם אלנדאף הכרה מהשלטון העות'מאני, שקהילת עולי תימן, תיחשב קהילה עצמאית. בשנת תרע"ב (1912) נסע בשליחות העדה למצרים ולסוריה, והשיג עזרה לצרכי מוסדות העדה.
חכם מארי שלום הלוי אלשיך היה לומד בישיבת המקובלים 'בית אל' ובישיבת 'חסד אל'. השתתף בהקמת תלמוד תורה 'תורה אור' וישיבת 'תורת משה' לבני קהילתו. יחד עם החכם חיים שאול הכהן דוויק ייסד את ישיבת המכוונים 'רחובות הנהר'. בהשתדלותו בנתה חברת 'כל ישראל חברים' בית כנסת בשכונת נחלת צבי.
בשנת תרע"ד (1914) אירעה לו תאונת דרכים, בדרכו לשליחות ציבורית בפתח תקווה.
חכם מארי שלום הלוי אלשיך נפטר ביום א' באלול תש"ד (1944) ונקבר בהר הזיתים בירושלים.
בשנת תשל"ו (1976) יצא לאור בגבעתיים חיבורו 'עליית יהודי תימן' בתוך הספר 'מסעות ארץ ישראל' של אברהם יערי. בשנת תשנ"ז (1997) יצא לאור חיבורו 'משמיע שלום' - פירוש על שירי הדיוואן.
