据郁达夫自述，当他十三岁还在富阳高等小学堂读书期间，性意识就开始萌动，与比邻的“赵家少女”，有过一段“水样的春愁”的初恋之情。大约在同一时期，他还与倩儿等两位姑娘有过类似的恋情。后来郁达夫去日本，在日本留学期间，又与后藤隆子、田梅野、玉儿等产生过恋情。其中，玉儿是侍女，他为她所写的情诗“玉儿看病胭脂淡，瘦损东风一夜花，钟定月沉人不语，两行清泪落琵琶”至今为人称道。

　　郁达夫风流倜傥，浪漫多情。1921年他赴安庆的安徽法政专门学校执教时，又结识了一位妓女海棠姑娘，两人过从甚密。他每日任教结束，必到位于城外的海棠姑娘处。同期，郁达夫创作小说《茫茫夜》，可以认为是真实地记录下他的这一段感情生活。

　　郁达夫的第一次婚姻是典型的旧式婚姻。1917年，当郁达夫从日本回国省亲时，奉母命与同乡富阳宵井女子孙荃订婚。1920年两人正式结婚，由于郁达夫的坚持，没有举行什么仪式。1921年以后，孙荃随郁达夫到他所供职的安庆、上海、北平等地居住，度过了她一生中最快乐的时光。

　　1927年6月5日，郁达夫与王映霞订婚，孙荃遂告与郁达夫分居。此后，孙荃携子女回富阳郁家与郁母同居，与儿女们相依为命，守斋吃素，诵佛念经，直到1978年去世。

　　郁达夫的第二任夫人，即是广为世人熟知的王映霞。1927年1月，郁达夫在留日同学孙百刚家邂逅了王映霞，一见倾心，立刻坠入情网，不能自拔。1927年6月，郁达夫和王映霞在杭州聚丰园餐厅正式宴客订婚，次年2月在上海结婚，3月迁入上海赫德路(今常德路)嘉禾里居住，算是正式组建了小家庭。婚后郁达夫和王映霞过着虽然清贫但却平静充实的生活。然而因为战乱，郁达夫到福建任职，王映霞偕其母与三个儿子避难富阳、丽水、汉口时，两人之间却爆发了严重的冲突，最终以“协议离婚”分道扬镳。王映霞后嫁于华中航业局经理钟贤道，据传当时婚礼极尽铺张奢华。2000年12月，王映霞去世。

　　王映霞离开之后，郁达夫的心境极其孤寂和颓唐，这时，一位国色天香的女播音员李小瑛出现在他的面前，使他已是一潭秋水的心池，又波动起一片涟漪。李小瑛此时26岁，她十分崇拜郁达夫的文学才华，并主动向郁达夫示爱。两人一拍即合，不久，李小瑛就以郁达夫“契女”的名义搬到郁达夫家中居住，郁达夫也不避嫌疑。可是郁达夫的儿子郁飞却强烈反对父亲和李小瑛的结合，而郁达夫也不便和李小瑛正式结婚。1941年12月，李小瑛痛苦地搬出了郁家。太平洋战争爆发后，李小瑛退到爪哇岛，郁达夫逃亡到苏门答腊。

　　郁达夫的第三任夫人是何丽有。这位新夫人原籍广东，年仅20岁，生父姓何，幼时为一陈姓人家收养，所以原名叫陈莲有。她相貌平常，没有什么文化，而且不懂中国话。当时郁达夫为躲避日本人迫害，化名赵廉，在印尼与朋友经营一家酒厂。一直到郁达夫遇难，何丽有才知道郁达夫是中国文化界的名人，而不只是一名寻常的酒厂老板。