Отношения с женским полом, личная жизнь Андерсена не сложилась, один раз в возрасте уже 40-ка лет он был влюблен в певицу и актрису Иени Линд, которой было 25 лет. Она его считала вечным ребенком и предложила быть ее братом, видя что он стесняется признаться в своих чувствах. Он согласился с таким предложением. Один раз он встречал с Иени Рождество, где они пели и веселились. Андерсен сохранил самые теплые чувства к Иени и пронес через всю свою жизнь платоническую любовь к ней.

Половую жизнь Андерсен так и не начал вести. Он только занимался мастурбацией, из-за чего испытывал сильнейшее чувство вины. Иногда, начиная с 55-летнего возраста он посещал публичные дома, с удовольствием наблюдая обнаженных проституток и проводил с ними время в приятных для него разговорах, что говорит о его невысокой половой энергии и сублимации через творчество.

Настоящий битард