Albert Schwarzhaupt wurde am 24. Januar 1886 in Regensburg geboren. Nach der Hochzeit im Jahr 1921 mit seiner Frau Hella zog das Paar nach München, wo sie vier Kinder bekamen. Im Mai 1933 entschieden sie sich für einen Umzug nach Konstanz, wo Albert weiterhin als Kaufmann und Vertreter tätig war, oft auf Geschäftsreisen.
Am 11. November 1938 wurde Albert Schwarzhaupt nach Dachau deportiert und musste mehrere Wochen in Haft verbringen. Gemeinsam mit seiner Frau Hella wurde er am 22. Oktober 1940 nach Gurs deportiert. Im März 1941, schwer zuckerkrank und ohne ausreichende medizinische Betreuung, wurde er in das Lager Récébédou verlegt, wo er am 17. April 1941 im Alter von 55 Jahren verstarb.
Die Familie Schwarzhaupt suchte früh nach Auswanderungsmöglichkeiten. Bereits Anfang 1935 gelang es ihnen, die beiden älteren Töchter Hanni und Rose in die USA zu Verwandten zu schicken. Im Februar 1939 durften der inzwischen 11-jährige Max und seine 7-jährige Schwester Ruth im Rahmen der „300-Kinder-Aktion“ des Schweizer Hilfswerks für Emigrantenkinder (SHEK) in die Schweiz einreisen.
Die Eltern schafften die Ausreise nicht mehr. Hella Schwarzhaupt unterhielt während ihrer gesamten Gefangenschaft in den Lagern Südfrankreichs regen Briefkontakt mit ihren jüngsten Kindern. Ende August 1942 wurde sie nach Drancy deportiert und von dort am 28. August 1942 nach Auschwitz. Am Ankunftstag, dem 31. August 1942, wurde sie in Auschwitz ermordet. Die vier Kinder überlebten den Holocaust in den USA und der Schweiz.
Am 14. Juli 2010 wurden in der Tägermoosstr. 33 im Beisein der aus den USA angereisten Tochter Ruth 6 Stolpersteine für die Familie Schwarzhaupt verlegt.