Andrić je dugo krio svoj privatni i ljubavni život. 30 godina je čekao Milicu Babić koja je postala njegova supruga.
Međutim, ona je sama po sebi bila fascinantna žena koja svakako i bez takvog supruga zaslužuje pažnju naše kulturne istorije.
Ta žena koja je bila prvi kostimograf u Beogradu, profesorica, dopisnik Politike, opremila je tri stotine dramskih, operskih i baletskih predstava…
Pričalo se da je Hitler bio fasciniran njenom ljepotom i vrlo uljudno i sa taktom prema njoj se odnosio nakon što su se sreli na nekom prijemu.
Tokom života je želeo da bude što bliže Milici, ali znajući da je ta ljubav zabranjena, često je bežao što dalje i slao joj pisma. Javnosti nije poznato kada su se Ivo Andrić i Milica Babić tačno upoznali. Ali se to najverovatnije desilo pre nego što je čuveni pisac i tadašnji ambasador u Berlinu dao njenom suprugu Nenadu Jovanoviću posao u ambasadi.
S obzirom na to da je bio neženja, Milicu je zamolio da bude domaćica na njegovim prijemima. Prijatelji su bili od 1939, pa sve do Nenadove smrti. Andrić im je gotovo svakodnevno slao pisma i obraćao im se sa „Dragi prijatelji“. A potpisivao ih je kao Mandarin, jer je to nadimak koji mu je Milica nadenula.
Nakon gotovo 20 godina poznanstva, 1957. Nenad je preminuo, a pisac više nije znao kako da krije svoju naklonost prema Milici. Godinu dana kasnije njih dvoje su se venčali, a Andrić je otkrio da je „Jelena, žena koje nema“ zapravo Milica.
