1656. gada pavasarī hercogs Jēkabs norīkoja inženieri, kuram bija  jānovērtē situācija Grobiņā un jāiesaka pils stiprināšanas risinājumi.  Grobiņas pilskungs A. Koškuls ziņoja hercogam, ka inženieris  ieteicis ap pili izveidot valņus. Drīz sākās zemes darbi, bet  trūka darbaspēks. Pils esot apjozta ar valni un sausu grāvi.    

1658. gadā zviedru ģenerālfeldmaršals Duglass nodevīgi sagūstīja  hercogu Jēkabu un ar visu ģimeni izsūtīja gūstā uz Ivangorodu pie  Narvas. Tālāk zviedri ieņēma Kurzemi.

Poļi Kurzemi pameta.

Pret  zviedriem cīnījās hercogistes vienības, kuras sastāvēja no  zemniekiem un, kuras pielietoja partizānu metodes. Viens no  izcilākajiem kurzemes karaspēka vadoņiem bija leitnants  Johans Lībeks, saukts par Aklo Valentīnu, jo viņam kaujās bijusi  bojāta viena acs. Cīņās pret zviedriem 1659. gadā iesaistījās Brandenburgas karaspēks. Tajā pašā gadā zviedri atkāpjoties nodedzina Grobiņu. Nodega arī 1598. gadā celtā baznīca. Zviedri, atstājot lielgabalus un lielu daļu  ieroču, atkāpās Rīgas virzienā.  

Uzvarētājs, Prūsijas vietvaldis B.Radzivils, Grobiņas pilī sarīkoja  lielas svinības par godu uzvarai, uz kurām ielūdza arī poļu ģenerāļus.  Mielastā poļu virspavēlnieks hetmanis Komarovskis tā piedzērās,  ka nebija spējīgs jāt un naktī uz Skrundu bija jāved ratos; aizmigušā  hetmaņa kaklauts ietinies ratu ritenī un Komarovskis nožņaugts... Rudenī B. Radzivils nodeva Grobiņu poļiem.  

1660. gadā abas karojošās puses nolēdz miera līgumu un hercogs  Jēkabs atgriezās no gūsta un apmetās Grobiņas pilī, jo pārējās  pilis bija stipri izpostītas.    

Ziemeļu kara laikā pili vēlreiz ieņem zviedri un tajā 1701.g. vairāk  kā nedēļu uzturējās Zviedrijas Karalis Kārlis XII.