בהגיעו לעיר, פתח ישיבה בבית רומנו, ובה סיים את כתיבת האנציקלופדיה התלמודית הגדולה "שדי חמד". אחר פטירת הרב חיים רחמים יוסף פרנקו רבה של חברון בשנת תרס"ב התמנה לרב העיר ושימש בתפקיד עד יום פטירתו.
הרב מדיני קרא להרחבת הקהילות היהודיות בארץ: "עושו חושו להושיט יד למפעל הקדוש הזה – ישוב ארץ ישראל ואם ראשיתו עוד מצער, אחריתו ישגה אי"ה מאוד ובגלל זה נזכה לחזות ולחדות בגאולה האמיתית".
הרב מדיני היה מכובד מאוד בין הערבים, שחשבוהו לאיש אלוהים בשל מראהו הנאה, וזקנו שהיה יורד על-פי מדותיו, ויש אומרים, שהגיע עד ברכיו.
נפטר ביום כ"ד בכסלו תרס"ה, 1904, והובא לקבורה בבית העלמין היהודי העתיק בחברון.