Отец не стал требовать возвращения Ивана в гимназию, мать же была недовольна мягкостью отца и поступком сына.

Дабы не раздражать мать, рано поутру, если погода позволяла, Иван отправлялся бродить по окрестностям Елабуги. Хаживал на Красную горку, с которой окрест видно на много верст, перебирался за реку и по высокой траве доходил до Афонасовской рощи, где и проводил день. Всякий раз возвращался затемно. Отужинав, забирался в свою комнату. Домашним казался дикарем, нелюдимом.

В другие дни бродил по лесу близ Святого ключа, неподалеку от дачи Стахеевых, или добирался до Лекаревского поля, там среди ржи росли вековые сосны. Тишина, васильки. Ласточки близ земли носятся…

Мысль — что делать? как быть? — мучила его. И не его одного. «Желая приобщить Ивана к хозяйству, — пишет Комарова, — родные стали давать ему торговые поручения, но купцы обманывали и обсчитывали его. Купеческо-мещанской Елабуге такая неприспособленность казалась чуть ли не слабоумием. Иван и сам понимал, что к коммерции непригоден, и страдал от обиды и безысходности положения. Мать он приводил в отчаяние. Она в насмешку прозвала его «арифметчиком-грамматчиком» и восставала против того, что он постоянно сидел за книгами и за «пачкотней бумаги».

Отец приглядывался к сыну, старался понять его, не раз удивлялся его быстрому соображению и памяти. Но, с огорчением заметив, что купца из него не получится, не стал принуждать, оставил во власти неопределенности и наблюдений.

Сердил он и старшего брата Николая, к тому времени женившегося. Николенька любил две вещи — охоту и чтение романтических романов. Любил он (в отсутствие батюшки) и покуролесить. Были для такого разу у него дружки верные. Уедет тятенька на ярмарку или в Москву — и развернутся Николенька с дружками во все свои силы, тешатся, как умеют, на свободе. Уедут на рысаках в слободку и пропадают, гуляя в ней до вечера, а воротясь, примутся орать во все горло многолетие, подражая соборному диакону. А то (и такое было, чего уж тут таиться) проскочит Николенька в ворота, да на коне-то в дом норовит въехать.

Трудно, трудно было брату старшему понять младшего.

Луна медленно выплывает из-за темного соснового бора. Сверчки кричат. Тихо в городе. Лишь слышно изредка, как караульный у ворот постукивает в доску. Ванечка при свете свечи рисует. Рисует по памяти, увиденное или с книги анатомической, подаренной отцом.

В один из дней увлекся рисованием так крепко, что не заметил пожара, начавшегося в городе.

(«В этот период времени постигло наш город большое бедствие. Случился пожар 1850-го году 20 августа. Загорелось начально у брата Василия Васильевича в самую полночь, но увидели нескоро. Огонь начально показался в конюшне. Скоро перешел через улицу: загорелся дом Дмитрия Ивановича, а потом и пошло далее. А на другую сторону сгорел и наш семейный дом… В этом пожаре начально сгорело до 60 домов, и пожар прекратился в шесть часов. А потом снова зазвонили в набат в 8 часу, и загорелся вновь из оставшихся домов на Покровской улице дом Замятина… От него пожар сильно распространился и пошел во все стороны по Покровской улице, и по Казанской сильно усилился. По мосту перешел на Покровскую сторону, а там дома все деревянные, и он по ветру все сжег до самой поскотины. Этот пожар происходил в самую Нижегородскую ярмарку. Купечество все было в ярмарке», — вспоминал Иван Васильевич.)

Тот пожар, в котором выгорело большинство домов в Елабуге, глубоко запал в память горожан.

В пожар проявились и особые черты матушки: спасла она от огня в первую очередь рукописи и книги мужа, рисунки и тетради сына. Правда, часть рисунков все же сгорела.

Дом Шишкиных сильно пострадал. Его пришлось отстраивать заново, как, впрочем, и остальные дома в городе. Мыслилось Ивану Васильевичу строить улицы более широкими, дабы при пожаре огню труднее было перебираться от дома к дому. Ездил он в Вятку, для разрешения этих вопросов, где встречался с советником губернского правления писателем М. Е. Салтыковым-Щедриным.

После пожара, при отстройке дома, вдруг проявились недюжинные способности Ивана Шишкина-младшего. Он все умел делать. «Молчун», «дикарь» работал споро, расчетливо и был незаменим. В доме и в городе о нем заговорили по-иному.

Новый дом стал вместительным, выстроили его двухэтажным. Усадьбу со стороны улицы огородили забором деревянным с резными воротами, а со стороны двора — каменным.

Иван выбрал себе на втором этаже две маленькие комнаты, выходящие во двор. Из окна виден Спасский собор, торговые ряды. В одну из комнат был отдельный ход.

Семейных торжеств Иван сторонился. Не любил, когда надо было ехать в гости или принимать ряженых. Запирался у себя либо через потайную дверь исчезал из дому.

Отец, замечая тягу сына к рисованию (все стены комнаты Ванечки завешаны были рисунками), принялся выписывать книги по искусству и биографии знаменитых художников. Видел Иван Васильевич, молчаливое поведение сына исходит из потребности познать «сериозное», может, главное для себя. И не отнимал у него пока свободного времени, полагая справедливо, что позволит оно сыну глубже вдуматься в каждую прочитанную статью, отдать себе отчет в каждом вопросе, поднимаемом в ней.

В ту пору складывался у Ванечки взгляд на служение искусству. Переписывая в тетрадь из книг описания природы, биографии живописцев, он все больше размышлял о назначении художника. Мысли требовали оформления, но главное, главное он осознавал: «Посвятить себя живописи — значит отказаться от всяких легкомысленных занятий жизни». Как быть в дальнейшем, не ведал покуда, мучился. Но его тянуло к искреннему, к истине. Может, потому и любил побеседовать с простыми людьми. Однажды, в разговоре с плотником, починявшим дом, услышал об Академии художеств, о Петербурге. Но рассказ лишь усугубил тяжкие чувства. Слишком далеко была северная столица. Добраться ли до нее, когда из елабужан один лишь папенька и побывал в ней.