Der Passauer Bischof Wolfger von Erla ließ Burg Wolfstein um 1200 als Wehranlage errichten.
Ende des 16. Jahrhunderts wurde aus der Burg ein Schloss im Renaissancestil.

Schloss Wolfstein, um 1200 vom Passauer Bischof Wolfger von Erla erbaut, war Wehranlage, bischöfliches Jagdschloss und  Verwaltungssitz. Seine heutige Gestalt erhielt es vor allem durch Fürstbischof Urban von Trenbach in der Zeit von 1577 – 1590.

Unter dem Passauer Fürstbischof Kardinal Leopold Ernst Graf von Firmian (1763-1783) folgte eine  grundlegende Renovierung der Innenräume und ließ 1779 von dem

Passauer Maler Joseph Widemann das „Fürstenzimmer“ im zweiten Obergeschoss mit einem Rokoko-Bilderzyklus in Seccomalerei ausschmücken.
1986 -1989 grundlegende Sanierung. Seit 1982 beherbergt es als erste landkreiseigene Kunstsammlung in Bayern, die „Galerie Wolfstein“ und seit 1989 das Jagd- und Fischereimuseum.
Dieses wurde neu konzipiert  und 2014 unter dem Namen Jagd Land Fluss wieder eröffnet.