В 1791 году в возрасте 22 лет Крылов влюбился в девушку Анну, дочь священника из Брянского уезда, которая ответила ему взаимностью. Однако её родители воспротивились их отношениям. Будучи в дальнем родстве с М. В. Ломоносовым и к тому же состоятельными, они отказались выдать замуж дочь за бедного поэта. Анна так тосковала, что родители, в конце концов, согласились выдать её замуж за Крылова, о чём написали ему в Санкт-Петербург. Иван Андреевич ответил, что у него нет денег для приезда в Брянск, и попросил привезти Анну к нему. Родные девушки были оскорблены ответом, и брак не состоялся.
Официально Крылов не был женат, и был бездетен. Однако, современники баснописца утверждали, что у него была гражданская жена — его кухарка Феня. Жениться на ней Крылов не мог, так как общество осудило бы его. Феня родила девочку Александру (Сашу), которую считают внебрачной дочерью Ивана Андреевича. О том, что это может быть правдой, говорит тот факт, что после смерти Фени Саша осталась жить у Крылова, а позже была отдана им в пансион за его счёт. После замужества Александры Иван Андреевич дал за ней большое приданое, а после с удовольствием нянчил её детей. Перед смертью поэт переписал всё своё имущество на имя её мужа