מיקום
על הגבול עם מצריים כ30 קמ דרומית לעזה רפיח היא העיר הדרומית ביותר ברצועת עזה
ברונזה המאוחרת
בתקופת הברונזה התיכונה והמאוחרת, כנראה כ-2 ק"מ מדרום לתל רפיח שכנה רפיח הקדומה, יישוב חשוב על "דרך הים" (או דרך הורוס כפי שקראו לה המצרים), שלא עברה ממש בקרבת החוף מחמת רצועת החולות הנודדים. אזור עזה, שבגבול הדרומי של ארץ כנען, היה לאחד ממעוזי השלטון המצרי, כולל רפיח, תל אל-עג'ול, שיח' זוויד, תל שרוחן ועזה, שהייתה לבירת השלטון המצרי בכנען. קטע זה של הדרך היה חיוני ביותר למצרים, ולכן הוקמה לאורכו שורה של מבצרים, תחנות דרך ובארות מים במרחקים קבועים, במגמה להקל את המעבר של הצבא המצרי. תחותמס השלישי (המאה ה-15 לפנה"ס) עבר בה בדרכו לכיבוש תל מגידו. העיר מוזכרת בפפירוס אנסטאזי א' מתקופת פרעה סתי הראשון (המאה ה-14 לפנה"ס), הכותב מתאר אתרים ברחבי האימפריה, מתאר את העיר רפיח, את ביצוריה ואת מיקומה הגאוגרפי ביחס לעזה. מתקופת פרעה סתי הראשון (המאה ה-14 לפנה"ס). התעודה המקיפה ביותר, המתארת את "דרך הים", הוא הקטע הגאוגרפי שבאיגרת הסופר המצרי חורי מימי רעמסס השני (המאה ה-13 לפנה"ס)
תקופת הברזל
פעילות הדיפלומטית והצבאית של מצרים בראשית תקופת הברזל א' מלמדת שאפשרות התנועה לאורך "דרך הים" מתחנה אל תחנה, נשמרה ברציפות מתקופת הברונזה המאוחרת, לפחות כל זמן שמצרים נכחה בדרום ארץ כנען (1133 לפסה"נ בערך). אחר כך עוברת רפיח לשליטת הפלשתים, בגבולה הדרומי של ממלכתם. בשנת 925 לפנה"ס עצר בה צבאו של שישק במסעו לארץ ישראל.
עלייתו של סרגון השני, מלך אשור לשלטון (705–721 לפסה"נ) לוותה במרידות ברחבי האימפריה, וביניהן זאת של עזה בשנת 720 לפנה"ס. חנון מלך עזה הצטרף לקואליציה סורית–ארץ ישראלית שבראשה עמד יהובידי מלך חמת, ושנתמכה על ידי מצרים. המרד של עזה דוכא בקרב שנערך ליד רפיח, וחנון הובל לאשור כבול בשלשלאות. מפקד הכח המצרי שנשלח לעזרת חנון, נמלט בחזרה למצרים. רפיח נהרסה ותושביה הוגלו. במסעו השני לפלשת (716 לפסה"נ) מספר סרגון השני שהגלה אוכלוסייה אל נחל מצרים והושיב אותה באזור. מהלכיו של סרגון נועדו ליצור אזור חיץ עם גבול מצרים, שתושביו נאמנים לאשור.
במסעו העשירי, שנערך בשנת 671 לפנה"ס, כבש אסרחדון את מצרים. הוא מודיע, כי בדרכו עבר ברפיח שבקרבת נחל מצרים והמשיך עד מצרים.
תקופה הלניסטית
בתקופה ההלניסטית בארץ ישראל במקום התרחש קרב רפיח, שהיה קרב מכריע במלחמה הסורית הרביעית בין תלמי הרביעי ממצרים ואנטיוכוס השלישי (הגדול) מהאימפריה הסלאוקית. הקרב נערך ב-22 ביוני 217 לפנה"ס, ליד רפיח, ובעקבותיו זכו המצרים לשוב ולשלוט על קוילה-סוריה.
תקופה הרומית והביזנטית
בשנת 100 לפנה"ס כבש אותה אלכסנדר ינאי, והרס אותה. המצביא הרומי אולוס גביניוס בנה אותה מחדש בשנת 61 לפנה"ס, כחלק ממשימתו לחזק את האחיזה הרומית לאורך חופי הים התיכון.
יוסף בן מתתיהו כתב תיאור של מסע צבא רומא תחת פיקודו של טיטוס ממצרים לעזה. ביום אחד עבר את המרחק מפלוסיום עד מקדש זאוס קסיוס, ביום השני הגיע לאוסטרקינה, ביום השלישי הגיע אל אל-עריש, ביום הרביעי הגיע אל רפיח, וביום החמישי הגיע אל עזה.
בימי סטראבון נחשבה רפיח לחלק מפיניקיה.
בתקופה הביזנטית הייתה רוב האוכלוסייה נוצרית ובעיר שכן הגמון.