太和末，杜牧复自侍御史出佐江西宣州幕。虽所至辄游，而终无属意。及闻湖州名郡，风物妍好，且多奇色，因甘心游之。
湖州刺史某乙，牧素所厚者，颇喻其意。及牧至，每为之曲宴周游，凡优姬娼女，力所能致者，悉为出之。牧注目凝视曰：“美矣，未尽善也。”乙复候其意。牧曰：“愿得张水嬉，使州人毕观。候四面云合，某当闲行寓目。冀于此际，或有阅焉。”乙如其言。至旦，两岸观者如堵。迨暮，竟无所得。将罢，舟舣岸。于丛人中，有里姥引鸦头女，年十余岁，牧熟视曰：“此真国色！向诚虚设耳。”因使语其母，将接致舟中。姥女皆惧。牧曰：“且不即纳，当为后期。”姥曰：“他年失信，复当如何？”牧曰：“吾不十年，必守此郡。十年不来，乃从尔所适可也。”母许诺。因以重币结之，为盟而别。故牧归朝，颇以湖州为念。然以官秩尚卑，殊未敢发。寻拜黄州、池州，又移睦州，皆非意也。牧素与周墀善。会墀为相，乃并以三笺于墀，乞守湖州。大中三年，始授湖州刺史。比至郡，则已十四年矣。所约者已从人三载，而生三子。牧既即政，亟使召之。其母惧其见夺，携幼以同往。牧诘其母曰：“曩既许我矣，何为反之？”母曰：“向约十年，十年不来而后嫁，嫁已三年矣。”牧因取其载词视之，俯首移晷，曰：“其词也直，强之不详。”乃厚为礼而遣之。因赋诗以自伤，曰：
“自是寻春去较迟。不须惆怅怨芳时。狂风落尽深红色，绿叶成荫子满枝。
唐代孟棨所著的笔记小说《本事诗》提到杜牧的风流事迹，情节与《唐阙史》略有不同：
杜舍人牧，恃才名，颇纵声色。尝自言有鉴别之能。闻吴兴郡有佳色，罢宛陵幕，往观焉。使君闻其言，迎待颇厚。至郡旬日，继以酣饮。睨官妓曰：“未称所传也。”将离郡去，使君敬请所欲，曰：“愿泛彩舟，许人纵视，得以寓目。”使君甚悦。择日大具戏舟，讴棹捷较之乐，以鲜华相尚。牧循泛肆目，意一无所得。及暮将散，忽于曲岸见里妇携幼女，年方十馀岁。牧悦之，召至与语。牧曰：“今未带去，第存晚期耳！”遂赠罗缬一箧为质。妇辞曰：“他日无状，或恐为所累。”牧曰：“不然。余今西行，求典此郡。汝待我十年，不来而后嫁。”遂书于纸而别。后十四年始出刺湖州。临郡三日，即命访之。女嫁已三载，有子二人矣。牧召母及女诘问，即出留书示之。乃曰：“其辞也直。”因赠诗曰：“自是寻春去较迟，不须惆怅怨芳时。狂风落尽深红色，绿叶成阴子满枝。”
