Das Gut Vargatz ist bereits 1250 als Lehen beurkundet und als einer der drei Stammsitze der Familie von Behr benannt. Das Gut blieb bis zum Tode des Letzten der Behren im Jahre 1892 im Familienbesitz und wurde nach dem Tod seiner zwei Söhne erstmals an eine seiner vielen Töchter, Julie von Behr, vererbt, welche zu jener Zeit bereits Oscar von Nolte geehelicht hatte. So war der letzte Gutsherr auf Vargatz deren Sohn Friedrich (Fritz) von Nolte ( 1873-1959), welcher 1945 das Gut und allen Besitz abgeben musste und seinen Lebensabend in Bayern bei Verwandten verbrachte.
Sehenswert ist der Gutspark mit dem ehemaligen Familienfriedhof und alten Grabsteinen. Im Gutspark gelegen ist auch ein Teich mit sogenanntem Turmhügel.
Am Ortseingang befindet sich zudem ein altes Hünengrab. Das viele Jahrhunderte durch die Behren geschonte Großsteingrab aus dem Neolithikum wurde 1954 zerstört und später in der Nähe der Straße wieder aufgebaut.
Die Familie Miller hat ab 1997 die Ruine des Gutshauses und später des letzten erhaltenen Stallgebäudes gekauft und in liebevoller Eigenarbeit nach und nach saniert. Das Gutshaus konnte nur zum Teil erhalten werden, da einige einsturzgefährdete Gebäudeteile auf Verfügung im Jahr 1999 abgetragen werden mussten. Heute stehen noch der Westflügel des Gutshauses mit darunter liegendem barockem Gewölbekeller, sowie der Südflügel mit Sourterainkeller.
Einige Mitglieder der Familie Miller sind unter anderen auch Gründungsmitglieder des gemeinnützigen Vereins Kulturgut Vargatz e.V. und stellen diesem das Stallgebäude zur Nutzung zur Verfügung, um den Menschen der Region Kultur und Begegnungsmöglichkeiten zu bieten.