Иосиф Шарлемань (Иосиф-Мария Боде-Шарлемань) родился 13 апреля (1 по старому стилю) 1824 года. Его отец – Иосиф Иванович Шарлемань (Шарлемань 1-й), брат – Адольф Иосифович Шарлемань.
Иосиф учился в известной немецкой школе Св. Петра с 1838 года. Художественное образование он продолжил в Императорской Академии художеств (ИАХ) в архитектурном классе А.П. Брюллова. Курс обучения в Академии он окончил в 1846 году со званием свободного художника.
В 1848 году Иосиф поступил на службу по придворному ведомству и начал её в качестве неклассного архитекторского помощника у Н.Е. Ефимова при постройке Нового Эрмитажа. Здесь он проработал более 3 лет, до июля 1851 года. За труды по составлению чертежей в декабре 1850 года получил первый чин. Затем, он последовательно был помощником у Монферрана и принимал участие в чертёжных работах при сооружении памятника Николаю I, у Н.Л. Бенуа. Но при этом самых строительных работ никогда не производил, а занимался составлением смет и чертежей сооружений. Такого же характера была его частная деятельность: отказываясь от наблюдения за постройкой, он брал на себя заказы, как от частных лиц, так и высочайших особ, исключительно на составление проектов. Вместе с братом Адольфом Иосифовичем Шарлемань в конце 1852 года они организовали небольшое общество молодых людей – художников и любителей. Вечерами они начали собираться по очереди друг у друга и в кругу поклонников искусства заниматься рисованием. Со временем эти собрания постепенно разрослись и сложились в так называемые «акварельные пятницы». Из них позже вырос «Кружок русских акварелистов», который в 1907 году стал Императорским обществом русских акварелистов. За проект дачи на Петергофском шоссе великого князя Михаила Николаевича Иосиф был удостоен в 1857 году звания академика архитектуры. Однако своей известностью он обязан не столько архитектурным композициям, сколько своим акварельным рисункам. Иосиф Иосифович автор рисунков: «Петербург. Цирк Императорской театральной дирекции», «Петербург. Александринский театр» (оба 1850), «Вид Зимнего Дворца с Невы» (1853), «Церковь в деревне Бабигон близ Петергофа», «Павильон Ренелла на берегу залива в Знаменке», «Вид церкви Шапель в Александрии возле Петергофа», «Руины на пруду возле деревни Бабигон у Петергофа» (все – 1854), «Шесть изображений, связанных с событиями из жизни в.к. Николая» (1856), «Четыре изображения курятника в Знаменке», «Интерьер греческой комнаты в Знаменском дворце», «Вид дворца в имении Знаменка», «Веранда возле дворца в Знаменке», «Вид берега Финского залива в имении Знаменка», «Вид в Нижнем парке Петергофа Санкт-Петербург», «Фонтан на берегу Изойного пруда в Знаменке», «Беседка в Знаменском парке», (все – 1861). Его аллегорические и орнаментные акварели в своё время пользовались большим успехом, и часто он был завален заказами, как русских меценатов, так и особ царской фамилии. Во время пребывания за границей в 1860 году он исполнил акварелью целую серию видов Германии для великой княгини Ольги Фёдоровны и Михаила Николаевича. Литографии по его пейзажам продавались в магазине И.Х. Дациаро в начале Невского проспекта и быстро раскупались.
В доступных источниках нет прямых упоминаний о том, что Иосиф Шарлемань участвовал в выставках.
Работы Иосифа Шарлеманя находятся в Государственном Эрмитаже и частных собраниях.
Иосиф Шарлемань скончался 8 мая (26 апреля по старому стилю) 1870 года в Санкт-Петербурге. Похоронен в семейном захоронении на Выборгском католическом кладбище, могила не сохранилась.
