Историки предполагают, что в раннем периоде истории города (середина 17 века) Харьков имел в гербе на желтом поле напряженный лук со стрелой черного цвета. Этот герб соответствовал тому периоду истории города, когда Харьков играл роль военно-опорного пункта на южной границе Русского государства. Первое упоминание об этом гербе есть в "Хроногеографическом описании города Харькова", изданном в 1767 году. В предполагаемом гербе использовалась и другая цветовая гамма – на зеленом щите лук желтого цвета. Очевидно, что изображение лука со стрелой на эмблеме города сберегалось до образования в 1785 году Слободско-Украинской губернии.

21 сентября 1781 года был утвержден новый герб (герб Харьковского наместничества), представляющий собой геральдический щит французской формы (четырехугольный, заостренный к низу). На зеленом поле щита изображены "положенные крестообразно Рог Изобилия с находящимися в нем плодами и цветами, и кадуцея, или Меркурьев Жезл" – золотой жезл с серебряными крыльями, который обвивают змеи серебристого цвета. Зеленый цвет в геральдике символизирует надежду, радость, достаток. Рог Изобилия – природные богатства края. Кадуцей – неизменный атрибут Бога Меркурия, который в эпоху античности считался покровителем торговцев, путешественников, парламентеров. Змеи, обвивающие кадуцей – символ мудрости. Таким образом, герб символизировал "как изобилие окружных стран того города, так и торговлю, производимую на". бывшей там знатной ярмарке Автором герба является князь М.Щербатов, возглавлявший геральдмейстерскую контору с 1771 года.

По Указу 1856 года были пересмотрены все губернские и другие гербы в связи с тем, что в городских гербах имели место недостатки, отказ от геральдических правил и, главное, – отсутствие в гербах единых монархических атрибутов, которые отображали бы основные принципы внутренней политики правительства. Был составлен проект нового герба, утвержденный 5 июля 1878 года. С этого времени и по 21 мая 1887 года Харьков имел герб с изображенной на серебряном щите черной оторванной конской головой "с червлеными глазами и языком, в червленой главе щита – золотая о шести лучах звезда между двумя византийскими монетами". Конская голова означала находящиеся в губернии конские заводы, звезда – университет, византийские монеты – торговлю и богатство. Щит был увенчан императорской короной и окружен дубовыми листьями, соединенными Андреевской лентой. Автором герба является барон Б.Кене.

Герб вызвал бурю протестов со стороны дворянства города, и 21 мая 1887 года по ходатайству харьковского дворянства городу был возвращен прежний герб: "…с изображением кадуцея и Рога Изобилия, но с тем, однако, чтобы над таковым гербом изображена была императорская корона, а по бокам сделаны украшения как в гербе 1878 года", т.е. – щит, увенчанный императорской короной и окруженный дубовыми листьями, которые были соединены Андреевской лентой. По цветовой гамме – на зеленом щите расположены крестообразно золотой Рог Изобилия и кадуцей, жезл которого тоже золотой, а крылья и змеи серебряные. Этот герб хорошо сохранился на здании автотранспортного техникума города и оставался эмблемой города до 1917 года.

С 1917 по 1968 год город не имел герба. Новый герб города советского периода появился 26 декабря 1968 года. Его автор – художник Е.Егоров. Цветовая гамма – красный, голубой, белый цвета. На верхней части щита на красном фоне изображена шестеренка, символизирующая промышленность города, на белом фоне – изображен золотой колос с золотыми орбитами электронов. Белый цвет – символ мира, сочетание красного и синего – цвета флага Украинской ССР, электронные орбиты напоминают, что Харьков – город науки, где впервые было расщеплено атомное ядро.

Сессией Харьковского городского Совета народных депутатов 14 сентября 1995 года эмблемой города в третий раз за последние два столетия был утвержден герб с изображением кадуцея и Рога Изобилия как, во-первых, наиболее точно отображающий историю и традиции Харькова, и во-вторых – воспринимаемый самими жителями как символ их родного города.