Густав Гиппиус родился 12 марта (1 по старому стилю) 1792 года в семье бедного деревенского пастора в Эстляндии. Он рано потерял мать и был отдан в пансион в Ревеле. С 14-летнего возраста Густав зарабатывал себе средства на учёбу уроками музыки и рисования. Он мечтал быть учителем, но бедность не дозволяла ему поступить в университет. По совету одного из своих друзей, Отто Игнациуса, ставшего потом живописцем, он поселился у его отца в пасторате Гаггерс и вместе с Отто стал брать уроки рисования у Вальтера, гувернёра детей писателя Коцебу, имение которого находилось по соседству с Гаггерсом. Учение продолжалось около 2 лет. Друзья считали Густава талантливым художником и устроили в его пользу благотворительный концерт, давший 2000 рублей.
На вырученные деньги Густав отправился зимою 1812 года сначала в Прагу, где он пробыл полгода и в это время нарисовал генерала Моро на смертном одре, а затем в Вену – здесь он прожил два с половиной года. 16 сентября 1816 года он с художником Эггинком отправился из Вены путешествовать пешком, побывал в Зальцбурге, Мюнхене, Венеции и Флоренции и в апреле 1817 года пришёл в Рим, где прожил 2 года. Занятия Густава состояли в изучении старых мастеров, копировании их картин и писании с натуры.
Заграницей Густав жил почти исключительно продажей рисуемых им портретов. К этому времени принадлежат исполненные им портреты Овербека, Бетховена и Торвальдсена. В июне 1818 года Густав уехал из Рима на родину. По пути он заехал в Иверден к Песталоцци и написал его портрет. 9 ноября 1819 года ГГустав вернулся в Эстляндию. Пробыв полгода в Ревеле, он в июне 1820 года женившись на сестре своего друга, Фридерике Игнациус и переехал с супругой в Петербург. В 1824 году Отто Игнациус умер, и на долю Густава выпало закончить его последнюю работу – картину, заказанную для царскосельской придворной церкви. Его работы привлекли внимание влиятельных людей – графа Каподистрия и директора Царскосельского лицея Энгельгардта. Они поддержали Густава материально и помогли издать Собрание литографированных портретов государственных чиновников, писателей и художников. Благодаря этому собранию до нас дошли портреты многих его знаменитых современников. Среди них был и портрет Александра Сергеевича Пушкина. Образ Пушкина на его литографии лишён привычного романтического ореола, черты лица поэта скульптурно чётки и холодны. Специалисты считают, что эта работа значительна в ряду прижизненных портретов Пушкина. Это взгляд стороннего человека, иностранца, не испытывающего священного трепета перед русским национальным гением. Гиппиус сумел подметить в облике поэта ум, волю, энергию и проницательность. Выпустив в свет своё издание, Густав обратился в Общество поощрения художеств, прося о содействии в его продаже. Комитет Общества выразил готовность содействовать распространению издания. Также Густав занимался преподаванием: в Воспитательном доме и Елизаветинском институте. Гиппиус издал следующие пособия для учителей и учеников: 1) «Le jeune dessinateur, cours detudes progressives a lusage des ecoles», в 4 тетрадях, с 32 листами рисунков; 2) Альбом из 66 листов головок с картин итальянских мастеров XV и XVI веков и 24 листа с изображениями разных цветов; 3) «Grundlagen einer Theorie der Zeichenkunst». St.-Pbg. u. Leipzig. 1842, по-русски: «Очерки теории рисования» (этот труд очень долго употреблялся в Германии в качестве руководства). Последняя его работа: «Kunstschulen. Zusammengetragen fur das Bedurfniss der Schule» (Leipzig, 1850) была посвящена популярному изложению истории искусства. В начале 1850-х годов Гиппиус вернулся в Эстляндию, где продолжал писать портреты. Его сыновья Отто и Карл стали известными архитекторами.
Густав Гиппиус не участвовал в традиционных публичных выставках.
Работы Густава Гиппиуса находятся в Государственном музее А.С. Пушкина в Москве, Государственном Эрмитаже, Эстонском музее (Art Museum of Estonia, Таллин), Дрезденском королевском кабинете гравюр (Kupferstich-Kabinett), Рижском Домском музее, а также в частных собраниях.
Густав Гиппиус скончался 6 октября (24 сентября по старому стилю) 1856 года в Ревеле. Погребён в пасторате Гаггерс.
