Byl ženatý s baronkou Marií von Wallersee (1858–1940), neteří císařovny Alžběty. Marie Larisch-Wallersee patřila k významným osobnostem císařského dvora a dosud neobjasněnou úlohu sehrála také v případě smrti korunního prince Rudolfa. Poté upadla v nemilost, rozvedla se s manželem (1896) a útoky na rodinu Larischů byly nakonec příčinou sebevraždy jejího syna Jindřicha (1886–1909). Na svou obhajobu sepsala paměti, které však v Rakousku nesměly vyjít (v češtině byly vydány v roce 1993). V době manželství s Jiřím Larischem byla podle projektu architekta F. Schmoranze (1814-1902) postavena Vila Larisch v Pardubicích (viz wikipedie).