Innerhalb der gräflichen Familie stabilisierte sich das Machtgefüge jedoch nur zögerlich. Nachdem immer wieder Streitigkeiten zwischen den männlichen Nachkommen in wechselnden Allianzen entflammten, konnte erst Johann VII. (1540–1603) die Herrschaft über die Grafschaften Oldenburg und Delmenhorst dauerhaft auf sich allein vereinen.
Der wohl bedeutendste wie auch bekannteste Graf von Oldenburg war jedoch Johanns Sohn: Graf Anton Günther (1583–1667). Er wusste nicht nur die Leistungen seines Vaters im Deichbau und Handel zu seinem Vorteil zu nutzen. Sein diplomatisches Geschick und seine weithin berühmte Pferdezucht, wovon er über 700 Tiere „zum Besten des Landes“ an feindliche Heerführer verschenkte, halfen, die Grafschaft und ihre Untertanen nahezu unbeschadet durch den Dreißigjährigen Krieg zu bringen. Der Weserzoll, den er ab 1623 zu erheben berechtigt war, erwies sich für die gräflichen Finanzen als äußerst einträglich. Nach dem Tod Anton Günthers 1667 fiel sein Territorium an Dänemark, da er keinen legitimen Nachfolger hinterlassen hatte. Somit stand das Land Oldenburg über 100 Jahre unter dänischer Herrschaft.
1773 kamen die beiden Grafschaften Oldenburg und Delmenhorst im Rahmen eines Gebietstausches mit Dänemark an das Adelsgeschlecht der jüngeren Gottorfer Linie. Im Folgejahr erhob ein Reichsdekret die Grafschaften zum Herzogtum. Als aufgeklärter neuer Landesherr nahm Herzog Peter Friedrich Ludwig (1755-1829) Maler in seine Dienste. Ludwig Philipp Strack und sein Vetter Johann Heinrich Wilhelm Tischbein schufen ab 1799 bzw. 1808 klassizistische Bilderzyklen und das repräsentative Raumprogramm im Schloss. Von großer kunsthistorischer Bedeutung sind dabei Tischbeins Oldenburger Idyllen für das Vorzimmer des herzoglichen Kabinetts.
