Иван Крылов родился 18 декабря (6 по старому стилю) 1860 года в станице Елизаветинской (Область Войска Донского) в семье донского казака, военного фельдшера, участника Русско-турецкой войны Ивана Андреевича Крылова. Иван учился в станичном приходском училище, а затем окончил Новочеркасскую войсковую классическую гимназию, так называемую «Платовскую гимназию».
В 1879–1887 годах Иван учился в Императорской Академии художеств в Санкт-Петербурге. За время обучения в Академии он получил 4 серебряные медали. В 1893 году за исполненные работ «Новороссийская бухта», «Старочеркасский собор» и «Тропинка на г. Машук» он получил звание классного художника 3-й степени.
После окончания Академии Иван живёт в Петербурге, ст. Сиверской, в Москве. Этот период для него был очень плодотворным. Именно в это время он сформировался как опытный мастер пейзажа. Работы, написанные им в этот период составили «Северный цикл». Среди них преобладают зимние мотивы. Иван Иванович стал одним из учредителей и членом «Московского товарищества художников» (1893). В конце 1890 годов он перебрался в Новочеркасск. В 1892 году Иван впервые с друзьями-художниками путешествует по Кавказу и Крыму. Впоследствии он неоднократно приезжал сюда. Оказавшись на Кавказе, Иван полюбил этот край и передал в своих полотнах красоту неприступных гор, глубокие ущелья, жилища горцев. Буйство красок южной природы, услышанные от горцев легенды, глубоко тронули его душу и нашли отражение в его работах, вошедших в «Южный цикл» его творческого наследия. Самое большое количество работ, из художественного наследия Ивана Крылова, посвящено Донскому краю. В своих полотнах он отразил донскую степь, потонувшую в пушистых ковылях и в цветах лазоревых, разливы рек, родной Дон. Он первым из художников увидел и показал в своих работах эту красоту. Неслучайно его называют «Певцом донских степей». В «Донской цикл» входят работы о калмыцком кочевье, которые он писал в конце XIX века в степи около калмыцких юрт: «Вечер в калмыцкой степи», «Гемонг», «Табунщик», «Храм Хурул». С 1901 по 1902 год Иван Иванович жил на Кавказских Минеральных Водах и оформлял залы Лермонтовской галереи в Пятигорске, Пушкинской галереи на Железных водах и паркового театра в Ессентуках. В это время Крылов создал эскиз для скульптурной композиции «Орёл со змеёй», исполненную скульптором Шодким Людвигом Карловичем, и установленную в 1901 году на Горячей горе, которая позже стала символом Кавказских Минеральных Вод. Он создал и открыл рисовальные классы в Новочеркасске (1902), которые субсидировала и контролировала Императорская Академия художеств. В начале ХХ века Крылов вернулся на Дон. В Новочеркасске с торга он в кредит приобретает дом у псаломщика Троицкого храма Александра Ивановича. С 1900-х годов он с семьёй: женой Елизаветой Ивановной Крыловой (Бурхгардт) и дочерью Елизаветой Ивановной постоянно живёт в Новочеркасске. В эти годы на усадьбе была построена мастерская. Дом и мастерская Крылова являлись своеобразным центром культурной жизни Новочеркасска. В 1910–1911 годах он совершил поездку во Францию и Италию. Более 20 лет Иван Иванович преподавал черчение в Донском политехническом институте, в 1930-х годах он заведовал кабинетом черчения, создал художественную студию. Как театральный художник Иван рисовал декорации для спектаклей в Ростове-на-Дону, Нахичевани, Тихорецке, Минеральных Водах, Пятигорске, Железноводске и других театрах.
В 1886 году первая картина Ивана Крылова «Стадо коров» была выставлена в Императорской Академии художеств. Её приобрёл педагог П.П. Чистяков. В 1900 году Крылов удостоился Золотой медали на Всемирной выставке в Париже, за живописную работу «Степь ковыльная». В 1913 году он открывает юбилейную выставку в Санкт-Петербурге.
Работы Ивана Крылова хранятся в Мемориальном доме-музее И.И. Крылова в Новочеркасске, Музее истории Донского казачества, Старочеркасском музее-заповеднике.
Иван Крылов скончался 14 ноября 1936 года в Ростове-на-Дону. Похоронен на Старом кладбище Новочеркасска.
