Алексей Рыбников родился 11 февраля (30 января по старому стилю) 1887 года в Раненбурге Рязанской губернии, ныне Ряжск Рязанской области. Алексей – брат учёного-экономиста Александра Рыбникова. Его отец, мещанин Александр Николаевич Рыбников (1844–1913), вёл хлебную торговлю. Мать, Прасковья Сергеевна (1853–1913), происходила из рода знатных купцов Щукиных.
После окончания гимназии в 1905 году Алексей учился в Харьковской школе живописи и рисования, которую окончил в 1909 году. Переехал в Москву в 1910 году, он стал обучаться в студии Ф.И. Рерберга. В 1915–1916 годах Алексей брал уроки у одного из основоположников русского авангарда М.Ф. Ларионова. Именно Ларионов повлиял на раннее творчество Алексея – несколько живописных работ были сделаны им в стилистике ларионовского примитивизма и лучизма: «Северное сияние» (1917), «Апокалипсис» (1918), «Идиллия» (1920-е) и другие.
Алексей жил в Москве, в течение 10 лет он был «свободным художником» – писал пейзажи, портреты, занимался оформлением любительских спектаклей, книг, реализовал себя и в экслибрисе, создавал книжные знаки для владельцев частных библиотек, разрабатывал издательские эмблемы. В 1918–1919 годах Алексей недолго проработал в Отделе по делам музеев и охране памятников искусства при Наркомпросе. В мае 1919 года он перешёл на службу в Третьяковскую галерею, сначала в должности хранителя, затем реставратора. С этого момента и на протяжении последующих 30 лет реставрация становится делом всей его жизни. Он был основателем, первым заведующим и научным руководителем реставрационных мастерских в Третьяковке. В 1920-е годы его живописная манера изменилась в сторону большей экспрессии и одновременно реалистичности. В дальнейшем никаких элементов авангарда в его творчестве не наблюдается. Алексей занимался книжной графикой, иллюстрировал произведения А.С. Пушкина, Н.В. Гоголя, Н.А. Некрасова, М.Е. Салтыкова-Щедрина, А.А. Блока, Сервантеса, А.В. Чаянова и других. Александр Васильевич Чаянов был ближайшим другом брата Рыбникова, предложил ему проиллюстрировать свою повесть «Кукла». Рыбников в 1924 году вступил в общество «Жар-Цвет». Название общества «Жар-Цвет» – это никому не видимый цветок папоротника. Общество было основано в Москве в декабре 1923 года и в его состав входили в основном бывшие члены «Мира искусства». В 1933 году Рыбников участвовал в Ленской научной экспедиции. Алексей выступил организатором реставрационных мастерских при Государственной Третьяковской галерее, на протяжении 30 лет являлся их руководителем. Алексей преподавал в Московском государственном художественном институте им. В.И. Сурикова, читал курс лекций по технике и технологии живописи в Московском государственном педагогическом институте им. В.И. Ленина.
В годы Великой Отечественной войны Рыбников занимался подготовкой эвакуации музейных фондов в Пермь и Новосибирск. Эвакуацию он организовал блестяще, так что не пострадала ни одна «единица хранения». Он хлопотал за принятие в запасники Третьяковки художественных работ Леонида Пастернака, но директор категорически отказался их принять. В 1945–1947 годах Рыбников руководил работами по восстановлению настенной и плафонной живописи в зданиях Нескучного (Александрийского) дворца в Москве, где сейчас располагается Российская академия наук, Музея Л.Н. Толстого, дворца Юсуповых на Мойке и Большого Кремлёвского дворца. В 1947 году он реставрировал несколько картин в Государственном музее искусств Узбекской ССР в Ташкенте. За время работы в реставрационных мастерских лично и под руководством Рыбникова отреставрированы многие произведения русских и зарубежных художников: «Боярыня Морозова» В.И. Сурикова, «Иван Грозный и сын его Иван» И.Е. Репина, «Русь уходящая» П.Д. Корина и другие. По поводу «промывки» «Боярыни Морозовой» Рыбников поссорился с М.В. Нестеровым, который был против, но Рыбников настоял на своём и оказался прав. «Боярыня» после «промывки» заблистала всеми своими первозданными красками. Особой любовью Рыбникова была реставрация огромных знаменитых картин польского художника Яна Матейко «Грюнвальдская битва», «Прусская дань» и «Проповедь Скарги». Рассказывают, что каждое утро он покидал квартиру со словами: «Пойду к своим пациентам». Однажды, подписываясь в ведомости музея, Рыбников шутливо подписался «Раб Третьяковки Рыбников».
В 1918 году состоялась первая персональная выставка Алексея Рыбникова в Москве. Он участвовал в двух выставках общества «Жар-Цвет» в 1924 и 1925 годах, также экспонировал свои картины в Ассоциации художников революционной России в 1925 году (Москва), на международной выставке «Искусство книги» в 1927 году (Лейпциг) и других.
Произведения Алексея Рыбникова находятся в ряде музейных собраний, в том числе в Государственной Третьяковской галерее, Российском государственном архиве литературы и искусства, Государственный музей искусств Каракалпакстана им. И.В. Савицкого и в частных собраниях.
Алексей Рыбников скончался 29 марта 1949 года в Москве. Похоронен на Введенском кладбище.
