Dès le haut Moyen Age, une forteresse défendait le passage de la Somme à cet endroit. Le château joua un rôle non négligeable pendant la Guerre de Cent ans : Édouard III y fut tenu en échec en 1346 avant la Bataille de Crécy. Sous Charles V, les Anglais boutés hors d'Abbeville y trouvèrent refuge, mais ils en furent chassés aussitôt par Guy de Luxembourg-Saint-Pol2.
En 1415, avant la Bataille d'Azincourt, ce fut le roi Henri V d'Angleterre qui échoua devant la résistance de Louis de Waucourt. En 1416, l’empereur du Saint-Empire romain germanique Sigismond y séjourna. Cependant le duc de Bourgogne Philippe le Bon parvint à s'en emparer.
Le château fut reconstruit après 1421 et conserva son rôle de place forte pendant les Guerres de religion. Au XVIe siècle, la reine Éléonore et le dauphin y logèrent en 1531, Henri II en 1549. Marie Stuart y fit sa dernière étape en France, en 1561 et Henri IV y passa en 1594. Au XVIIe siècle, Richelieu y coucha en 1638 mais le feu ayant pris dans le magasin à poudre de la garnison, il dut fuir de nuit, sur une barque. Au cours des invasions espagnoles, le logis fut incendié et le château perdit son rôle de place forte après la Paix des Pyrénées de 1659.
C'est au début du XIXe siècle que le château fut reconstruit en style néogothique par le comte du Maisniel de Liercourt3. Victor Hugo en fit un dessin en 1837.
En 1955, le château qui était la propriété de la comtesse de Coux, fut vendu puis revendu à des propriétaires qui le laissèrent à l’abandon. Le château est protégé au titre des monuments historiques : inscription par arrêté du 8 janvier 19934
Dans la nuit du 13 au 14 août 2012, un incendie d'origine criminelle détruisit les toitures, les escaliers et les planchers. La commune de Pont-Remy racheta le domaine en 20155.
