На следующий день Н. Н. отправляется в горы, где бродит, наслаждаясь природой в течение нескольких дней. Возвратившись домой, он находит записку от Гагина, в которой тот сетует на его внезапное отбытие, а также на то, что он не взял его с собой. Гагин встречает Н. Н. по-приятельски, Ася же, напротив, снова ведет себя неестественно, смеется и тут же убегает. В продолжение разговора, во время которого Н. Н. рассказывает Гагину подробности своего путешествия в горы, Ася то вбегает, то снова убегает, так что в конце концов Н. Н., сославшись на неотложные дела, собирается уходить домой. Гагин вызывается проводить его. Переправившись через Рейн, приятели возобновляют диалог, и внезапно Гагин интересуется, какого Н. Н. мнения об Асе и не находит ли он ее поведение немного странным. Н. Н. честно признается, что находит. Тогда Гагин вызывается рассказать ее историю, чтобы объяснить эти странности.
Отец Гагина был человеком добрым, умным, образованным, но вместе с тем несчастливым. Жена его (мать Гагина) умерла, когда сыну было полгода, и отец воспитывал его сам. Однако его брат (дядя Гагина) стал убеждать отца Гагина отдать мальчика на воспитание ему, так как мальчику, по его мнению, было вредно жить в полном уединении. Со временем отец согласился, и Гагин переехал к дяде. Он окончил юнкерскую школу, из которой поступил в гвардейский полк. Ежегодно он приезжал к отцу, но с каждым годом находил его все более грустным и все более углубленным в себя. В одно из таких посещений Гагин в доме отца впервые встречается с худенькой черноглазой девочкой лет 10-ти, Асей. Отец говорит, что это сирота, взятая им на прокормление. Девочка была «дика, проворна и молчалива», и Гагин не обратил на нее особого внимания. В течение последовавших за тем 3-4 лет он не был у отца, который в письмах, если и упоминал об Асе, то лишь вскользь. Внезапно Гагин получил письмо от приказчика, в котором тот сообщил о смертельной болезни отца и умолял его приехать как можно быстрее. Умирая, отец приказал привести к себе Асю и взял с Гагина слово, что он сдержит его последнюю просьбу. Он поручает Асю заботам сына и признается, что это его дочь. Подробности Гагин узнал позже от отцовского камердинера. Ася оказалась дочерью его отца и бывшей горничной его матери, Татьяны. Отец сошелся с ней спустя некоторое время после смерти матери Гагина и даже хотел жениться на ней, но Татьяна отказывалась, мотивируя свой отказ тем, что «какая уж она барыня». Она отказывалась переселяться к нему в дом и предпочитала жить с Асей у своей сестры. Но когда Татьяна умерла, отец взял Асю к себе. С Асей стали обращаться как с дочерью барина, «одевать в шелк, целовать руки, но вместе с тем она помнила о своей прежней простой жизни, она и стыдилась ее, и вместе с тем старалась забыть, и гордилась ею» и т. д.
Гагин постепенно привязывается к ней. Он привозит ее в Петербург. Однако несмотря на то, что Ася тоже успевает привязаться к нему, Гагин помещает ее в один из пансионов, поскольку обязанности службы не позволяют ему жить вместе с ней. Ася, хотя и понимает необходимость разлуки, тяжело ее переживает, даже болеет, однако затем проводит в пансионе четыре года. В пансионе часто на нее жаловались, подруг у нее практически не было, отношения с окружающими складывались сложно. Ася достигает возраста, после которого ее держать в пансионе нельзя. Гагин принимает решение уйти в отставку и уехать года на два с Асей за границу, что он и исполняет, поселившись в этом городке на берегу Рейна. Гагин упоминает о том, что внезапно на днях Ася стала говорить ему, будто он стал относиться к ней холоднее, что она хочет любить только его и т. д., т. е. упоминает о той сцене, которой Н. Н. явился невольным свидетелем. На вопрос Н. Н., не было ли у Аси увлечений, так как она жила в Петербурге и встречала достаточно молодых людей, Гагин отвечает, что все эти молодые люди ей не нравились и что Асе скорее бы подошел какой-нибудь необыкновенный человек или «живописный пастух в горном ущелье». Н. Н. говорит, что ему домой не хочется, и предлагает опять вернуться к Гагиным. Они возвращаются, Ася ласково встречает Н. Н., говорит, что рада его возвращению. Н. Н. разговаривает с Асей, она высказывает мысли, в которых чувствуется романтический взгляд на мир: ей нравятся сказки о Лорелейе, ей хочется пойти «куда-нибудь далеко, на молитву, на трудный подвиг», прожить недаром. Она просит Н. Н. почитать из «Онегина», говорит о том, как было бы хорошо, если бы у людей были крылья и проч. Возвратившись домой, они под музыку танцуют вальс. Возвращаясь домой, Н. Н. просит пустить перевозчика лодку вниз по Рейну, ему чудится, что и небо со звездами, и вода, в которой небо отражается, живые, что все это движется и имеет свою душу.