Николай Харламов родился в 1863 году в семье священника храма Смоленской иконы Божией Матери на погосте Веретево Николая Александровича Харламова. Он окончил Владимирское духовное училище, а затем поступил и обучался во Владимирской духовной семинарии, но в 1882 году он был уволен по собственному прошению.
Николай учился в Императорской Академии художеств с 1883 по 1891 год. За время обучения он получал две Малые серебряные медали в 1886 году, одну Большую серебряную медаль в 1887 году, золотую медаль имени госпожи М. Л.-Э. Виже-Лебрен «за экспрессию» и одну Большую серебряную медаль (1888). Окончил учебный курс (1888). Малая золотая медаль за программу «Ангел выводит апостола Петра из темницы» (1889). Выпущен из Академии со званием классного художника II степени.
В 1891 году Николай отбывал воинскую повинность во Владимире, тем не менее и в годы службы он не прекращал заниматься живописью. В 1892 года его назначили директором Холуйской школы иконописи. На прошедшей в 1896 году Всероссийской выставке в Нижнем Новгороде работы учеников его школы обратили на себя особое внимание. Созданный ими образ Христа был настолько удачен, что Харламовым заинтересовалась комиссия, ведавшая внутренним убранством храма Воскресения Христова в Петербурге, и Николай получил приглашение для участия в конкурсе на создание картонов для мозаик. С 1897 по 1900 год он создал для убранства храма Воскресения Христова 42 картона, по которым были набраны мозаики «Пантократор», восемь серафимов, четыре евангелиста, четыре изображения ангелов со страстями, «Евхаристия», «Спас Эммануил», «Спас Благое Молчание», «Богоматерь», «Иоанн Предтеча», восемь изображений сил небесных (четыре варианта), «Христос во славе», восемь изображений ангелов, «Святой Василий Великий», «Святой Иоанн Златоуст»,«Святые Кирилл и Мефодий», «Святые Стефан Пермский и Исаакий Далматский». За заслуги в области монументального религиозного искусства Николай Николаевич был избран в 1910 году академиком Императорской Академии художеств. Его иконописные работы, получившие широкое признание, имелись не только в российских церквях, но и в православных храмах в Вене и в Варшаве. Так, в 1900 году он был привлечён А.П. Рябушкиным к созданию мозаик для собора Святого Александра Невского в Варшаве. За создание этих мозаик Харламов был награждён орденом Святого равноапостольного князя Владимира 4-й степени. Затем Харламов создавал иконы для великокняжеской усыпальницы в Петропавловской крепости.
После революции Николай брал заказы на картины от Академии художеств и частных лиц, а также занимался делами волостного земства. В 1919 году он возглавил подотдел искусства местного уездного отдела народного образования в Вязниках. При его участии была сохранена прекрасная коллекция живописи и икон, которая стала основой Вязниковского музея. Харламов стал его первым директором. В 1923 году он оставляет свою деятельность в Вязниках и посвящает остаток жизни только творческой работе. По предложению Иваново–Вознесенского губкома Николай создаёт галерею образов видных революционеров текстильного края: С.И. Балашова, М.А. Багаева. Е.Н. Дунаева и других. Всего около 80 работ. Также ему принадлежат портреты В.И. Ленина и М.И. Фрунзе. Он вступает в Ассоциацию художников революционной России. Последние годы жизни он провёл в селе Тименка, расположенном в 19 км от Холуя (33,5 км по автодороге) и 6,5 км от Палеха (7 км по автодороге).
Николай Николаевич Харламов участвовал на Всероссийской выставке в Нижнем Новгороде в 1896 году.
Картины Николая Харламова находятся в Государственном музее палехского искусства, Ивановском областном художественном музее и других музеях России. В храме Воскресения Христова (Спаса на Крови в Санкт–Петербурге) находятся масштабные мозаики, созданные по эскизам Харламова. Остатки его мозаик находятся в Соборе Покрова Пресвятой Богородицы в Барановичах (Беларусь).
Николай Харламов умер в 1935 году. Похоронен на приходском церковном кладбище в Тименке.
