Николай Эллерт родился в 1845 (возможно в 1844) году в дворянской семье военного ветеринарного лекаря. Вероятнее всего его предки переселились в Подольскую губернию из Швабии. Его отец, Людвиг Яковлевич, служил в армии ветеринарным лекарем в период с 1842 по 1867 год, брат – Александр Людвигович жил в Москве в немецкой слободе, служил на почте помощником экспедитора в отделении приёма и выдача иностранной корреспонденции
В конце 1860-х – начале 1870-х годов Николай брал частные уроки живописи у Льва Львовича Каменева, некоторые искусствоведы утверждают, что это он спровоцировал его на приверженность к пейзажной живописи. В 1875–1883 годах он в качестве вольнослушателя посещал Московское училище живописи, ваяния и зодчества (МУЖВЗ), где занимался под руководством Алексея Кондатьевича Саврасова. Во время учёбы в МУЖВЗ он подружился с Исааком Ильичём Левитаном и Константином Алексеевичем Коровиным. За исполненную пейзажную картину «Полдень» (1879), некоторые преподаватели МУЖВЗ подали ходатайство Совету Московского художественного общества с просьбой наградить Николая Большой серебряной медалью и принять его в число постоянных полноправных учеников, но Совет ходатайство отклонил. В 1881 году Императорская Академия художеств удостоила его за исполненные классные этюды Малой поощрительной медалью, в 1883 году за живописную картину «Ночное» (Табун) он был награждён Большой серебряной медалью с присвоением звания классного художника третьей степени.
В 1875 году Николай возглавлял работы по оформлению сцены городского театра в Казани. Во время обучения в МУЖВЗ Николай иногда приезжал в Саввинскую Слободу (село рядом с Звенигородом) в гости к своему учителю Л.Л. Каменеву. В дальнейшем он не отказался от этой своей деятельности и неоднократно принимал участие в постановках петербургского Мариинского и Александринского театра, а также Большого и Малого театров в Москве. Николай Людвигович в основном писал русскую природу, сельский быт, табуны лошадей, стада коров, вечерние и утренние пейзажи, натюрморты, анималистические картины и бытовые жанровые сцены. Его стиль отличался вниманием к свету и атмосфере, а также живописной мягкостью. Как художника-пейзажиста его интересовало не только изображение конкретного мотива, но и передача освещённости. В 1886 году рисунки Николая Людвиговича вошли в каталог «Периодический выпуск рисунков русских художников». Вместе с другими художниками он принял участие в создании каталога «Сборник автографов русских писателей и рисунков факсмиле русских художников. В помощь бедным детям» (1887). В 1893 году вместе с другими 27 художниками он создавал памятный альбом графических работ, членов Московского товарищества художников. Этот альбом подарили меценату Полякову Лазарю Соломоновичу. С 1886 по 1899 год был членом легендарного Московского общества любителей художеств (МОЛХ). С 1894 по 1898 год член Московского товарищества художников (МТХ). В последние годы жизни Эллерт ослеп и практически не работал. В 1897 году Василий Никитич Мешков запечатлел его образ на живописных картинах «Тяжёлая дума» и «Ослепший художник». Репродукции обеих картин печатались на почтовых карточках того времени.
С 1878 года Николай Эллерт участвовал в художественных выставках Московского училища живописи, ваяния и зодчества. С 1884 года он принимал участие в выставках Московского общества любителей художеств, а с 1893 года – Московского товарищества художников. Также его работы демострировались на выставках Передвижников в 1884, 1887, 1888, 1891 и 1892 годах.
Произведения Николая Эллерта находятся в Государственной Третьяковской галерее, Дальневосточном художественном музее, Государственном литературном музее, Калужском музее изобразительных искусств, Музее-заповеднике В.Д. Поленова, других собраниях и частных коллекциях.
Николай Эллерт скончался 22 июля 1901 года в Москве.
