Карл Гиппиус родился в 1832 или 1833 году. Его отец Густав Адольф Гиппиус, обучал сыновей творческим дисциплинам с раннего возраста.
В 1855 году Карл окончил Императорскую Академию художеств со званием свободного художника.
После окончания Академии Карл предпринял на свой счет поездку за границу. По возвращении в Россию в 1857 году он получил место архитектора и художника при Закаспийском торговом обществе и построил торговые амбары в Астрабаде и Баку. В 1859 году он перешёл на работу в Главное управление наместника Кавказского. В том же году, после разрушительного землетрясения, он провёл исследования в Шемахе, которые стали основанием для переноса губернского центра из Шемахи в Баку. В 1865 году его назначили городским архитектором Баку. Город обязан ему своим благоустройством: он упорядочил улицы и площади, построил каменную набережную, на которой разместились губернаторский дом, здание дворянского собрания и многие частные дома, устроил три городских фонтана. Он же защитил дворец Ширваншахов от превращения его в тюрьму.
В 1867 году Карл Густавович был назначен эриванским губернским архитектором. В Эривани им были построены тюрьма и мост на реке Араксе. В 1871 году из-за проблем со здоровьем он вышел в отставку и переехал в Петербург. Здесь он занимался частными постройками. Карл Гиппиус был также отличным акварелистом. Он регулярно писал виды и памятники зодчества, но своим произведениям не придавал значения и охотно раздавал своим знакомым. У вдовы его сохранился альбом видов Эчмиадзинского монастыря, составленный им во время службы в Эривани.
Карл Густавович Гиппиус не участвовал в художественных выставках.
Работы Карла Гиппиуса находятся в Государственном центральном театральном музее им. А.А. Бахрушина, Азербайджанском национальном музее искусств в Баку и в частных собраниях.
Карл Гиппиус скончался 3 сентября (22 августа по старому стилю) 1880 года от разрыва сердца в Санкт–Петербурге. Похоронен на Смоленском кладбище.
