ในสมรภูมินากาชิโนะ (ปี 1575) ท่านสุกะนุมะ ซะดะทะดะ ได้ร่วมรบกับท่านทาเคดะ คัตสึโยริ ในช่วงการบุกยึดปราสาทนากาชิโนะ แต่ได้รับบาดเจ็บอย่างหนักในระหว่างการต่อสู้ ท่านคัตสึโยริได้จัดแจงตัวเองให้หลบหนีออกมาจากสมรภูมิรบพร้อมด้วยท่านซะดะทะดะ และไปหลบภัยที่ปราสาทดามิเนะของท่านซะดะทะดะ เมื่อเดินทางไปถึง พวกท่านกลับพบว่า ท่านซุกะนุมะ ซะดะนะโอะ ลุงของท่านซะดะทะดะ ซึ่งได้รับการสนับสนุนจาก อิมะอิซุมิ โดเซ็น ผู้รับใช้ของตระกูล ได้แปรพักตร์ไปเข้ากับตระกูลโอดะ และปิดประตูปราสาทใส่หน้าท่านซะดะทะดะและท่านคัตสึโยริ พวกท่านจึงไม่มีทางเลือก นอกจากต้องหนีไปยังปราสาทบุเซ็ตสึซึ่งอยู่ห่างออกไป 20 กิโลเมตร

เพื่อล้างแค้นการทรยศนี้ ท่านซะดะทะดะจึงจัดฉากการตายของตัวเองเพื่อผ่อนคลายการรักษาความปลอดภัยที่ปราสาทลง และในเช้าตรู่วันหนึ่ง ท่านซะดะทะดะและกองทัพเหล่าผู้ติดตามที่ภักดีได้เข้าโจมตีปราสาท ยึดป้อมปราการ และจับตัวท่านซะดะนะโอะ ลุงของท่าน และอิมะอิซุมิ โดเซ็น ทั้งคู่ถูกประหารชีวิตในพื้นที่สาธารณะใกล้ปราสาท พร้อมกับคนทรยศอีก 100 คน

ไม่ถึงหกปีหลังจากนั้น กลุ่มทาเคดะก็ถูกทำลายไป ด้วยความกลัวในอำนาจที่กล้าแกร่งขึ้นของตระกูลโทคุกาวะ ท่านซะดะนะโอะจึงละทิ้งปราสาทดามิเนะ และล่าถอยไปสู่อินะ ซึ่งปัจจุบันคือภาคใต้ของจังหวัดนากาโนะ ไม่นานหลังจากนั้น ปราสาทดามิเนะก็ถูกยึดโดยกลุ่มโทคุกาวะ ซึ่งแต่งตั้งอีกสายของตระกูลซุกะนุมะและผู้รับใช้ที่ไว้ใจได้ ให้เป็นผู้ดูแลปราสาท

ปราสาทดามิเนะ ตั้งอยู่บนเส้นทางอินะไคโด เส้นทางสำคัญที่เชื่อมต่ออินะ นากาชิโนะ อิวามุระในมิโนะ (จังหวัดกิฟุ) โคโรโมะ (ปัจจุบันคือเมืองโทโยตะ) ไปยังฮามามัตสึ และครอบคลุมพื้นที่สี่เหลี่ยมจัตุรัส กว้างด้านละประมาณ 200 เมตร มีคูเมืองแห้งและเขื่อนดินล้อมด้านตะวันตกด้านหน้าปราสาท กำแพงเมืองแบบมีทางเดินเรียกว่า "คุรุวะ" โดยกำแพงเมืองชั้นบนสุด "ฮอนมารุ" เป็นรูปวงรี ประกอบไปด้วยที่พักและห้องทำงานของผู้ครองปราสาท หอคอยปราสาท ห้องพักของบริวาร ป้อมยาม และสถานที่ที่อาจเป็นคอกสัตว์และครัว ส่วนฝั่งตะวันออกที่อยู่ด้านหลังของปราสาทนั้น ไม่ได้เสริมการป้องกันมากนัก เพราะได้รับการป้องกันโดยหน้าผาธรรมชาติสูงชันและแม่น้ำโทโยคาวะที่อยู่ต่ำลงไปเบื้องล่าง

แม้ปราสาทจะถูกทิ้งร้างไปในยุคเอโดะ แต่ซากปราสาทยังอยู่ในสภาพที่แทบจะสมบูรณ์ และมีส่วนช่วยในการวิจัยและการก่อสร้างฟื้นฟูโครงสร้างต่างๆ มากมาย รวมถึงพระราชวังโกเท็น หอคอยปราสาท ประตู และกำแพง เพื่อจะสรรค์สร้างปราสาทยุคเซ็นโกคุที่งดงามกลับขึ้นมาใหม่ได้