Jørgen Petersens bedstefar byggede den nuværende Lysabild Kro i 1898. Kroen fungerede også som togstation på banen mellem Mommark og Sønderborg.
Jørgen Petersen var søn af kromanden i Lysabild, gæstgiver Peter Andresen Petersen og hustru Cathrine, født Rasmussen.
Han havde fire søskende, to brødre og to søstre. Begge brødre var med i krigen.
Kromanden var meget musikalsk og spillede på alle instrumenter. Han øvede tit med sine sønner, og især Jørgen slægtede ham på med sit musikalske talent.
