כרכמיש הייתה יישוב חשוב עוד לפני האלף השני לפני הספירה. העיר הייתה תחת שלטון מיטאני (חורי) במהלך המאות ה-15 וה-14 ולאחר מכן הגיע לשליטה חיתית המלך החיתי שובלילימה (בערך 1330 לפנה"ס). הפך את קרקמיש לממלכה ואסלית שנשלטה על ידי בנו פיאסילי, , כרכמיש הפכה לבירה המנהלית של השטחים הסורים של החתים בתקופת הברונזה המאוחרת ונשלטה על ידי ענף צדדי של משפחת המלוכה החתית. לאחר התמוטטות האימפריה החתית בסביבות 1180 לפני הספירה, כרכמיש שלטה בתחילה על שטח גדול יחסית שהגיע עד מלאטיה בצפון. אבל מאוחר יותר היא שלטה רק סביב העיר ששרדה כאחת מכמה ממלכות ניאו-חיתיות קטנות יותר שהוקמו בדרום מזרח אנטוליה ובצפון סוריה. זה היה מרכז סחר חשוב והגיע לשיא שלו בסביבות המאה ה-9 לפני הספירה. האלוהות הפטרונית של כרכמיש הייתה קובה, אלת ממוצא חורי. בתיאורה היא מוצגת כאישה הלובשת גלימה ארוכה, עומדת או יושבת, ואוחזת במראה. במאה ה-9 לפני הספירה הייתה העיר תחת לחץ האשורים וידוע ששולם מס לפחות בשני הזדמנויות למלכי אשור אשורנאסירפאל השני ושלמנסר השלישי. העיר נכבשה לבסוף על ידי המלך האשורי סרגון השני בשנת 717 לפנה"ס, בתקופת המלך פיסירי.
מיקום חורבות העיר זוהה בשנת 1876 על ידי ג'ורג' סמית'. האתר נחפר בתחילה על ידי המוזיאון הבריטי, בעיקר בין השנים 1911 ו-1914, תחת פיקודו של D.G. Hogarth, R. C. Thompson, C. L. Woolley ו-T. E. Lawrence. משלחות אלה חשפו שרידים ניכרים מהתקופות הניאו-חיתית והאשורית, כולל מבני הגנה, מקדשים, ארמונות ומספר רב של פסלי בזלת, תבליטים וכתובות. האתר ממוקם בצד הטורקי של הגבול הטורקי-סורי ונשאר מתחת לשדה מוקשים מאז שנות ה-50. בשנת 2011, ממשלת טורקיה ניקתה את המוקשים וחפירות חדשות בקרקמיש החלו באותה שנה בפיקוחו של פרופ' נ. מרקטי מאוניברסיטת בולוניה.
כל הממצאים המונומנטליים מתוארכים לתקופה הנאו-חיתית. באלף הראשון לפני הספירה, כרכמיש הייתה מורכבת מתל מצודה גבוה ליד הפרת עם עיר פנימית מוקפת חומה ועיירה חיצונית. החפירות גילו דרך תהלוכה שהובילה למקדש האל הסערה ולגרם מדרגות מונומנטלי אל המצודה. המתחם כולו היה מקושט בפסלי בזלת וגיר. רוב האורתוסטטים והפסלים מהחפירות המוקדמות נמצאים כיום במוזיאון הציביליזציות האנטוליה באנקרה. כמה חפצים אחרים נמצאים במוזיאון הבריטי. הממצאים מהחפירות האחרונות נשמרים באתר או מועברים למוזיאון הארכיאולוגיה של גזיאנטפ.