Hermann Fischer ble født 1. januar 1893 i Latskowa (dagens Leckava) i Litauen, av foreldre Abraham og Dina Fischer. Hermanns far, Abraham, var en av de første jødene som slo seg ned i Norge. Han hadde i flere år arbeidet som omførselshandler i Norge, før familien hans flyttet etter i 1896 og slo seg ned i Trondheim.
Den 19. september 1915 giftet Hermann seg med sin kusine, Gusta Bermann, og ekteparet flyttet til Kristiansund der de blant annet bodde i Ole Juliums gate 17.
Året før hadde Hermann overtatt driften av forretningen Beklædningsmagasinet FIX av sin mor, Dina. Hermanns datter, Lilly, var en av de som arbeidet i forretningen. Hermann brukte flere skreddere i sin butikk, som solgte alt av klær, sko og undertøy.
