До сих пор остаётся загадкой, почему после войны Горьковскому автозаводу отвели роль производителя в основном среднетоннажных грузовиков вроде ГАЗ-51 (если не считать «Волги» и представительские лимузины). А ведь у предприятия был солидный опыт создания автомобилей с высокой проходимостью. Достаточно вспомнить трёхосный ГАЗ-ААА, созданный на базе знаменитой «полуторки» и поставленный на конвейер ещё в 1934 году.
Эта двухтонная машина имела десять передач — восемь вперёд и две назад. Следующая попытка — ГАЗ-33 с колёсной формулой 6 на 6 — была менее удачной: в 1939 году его выпустили, но в серию он так и не пошёл.

В 1964 году ГАЗ получил задание разработать трёхосный автомобиль для армии, который мог бы пригодиться и в народном хозяйстве. В то время на московском ЗиЛе никак не удавалось наладить массовый выпуск ЗиЛ-131, и это, по всей видимости, стало одной из причин появления ГАЗ-34. По другой версии, руководство страны намеренно создавало конкуренцию между заводами.
Чтобы ускорить выпуск новой модели, конструкторы максимально унифицировали «тридцать четвёртый» с легендарной «шишигой» — ГАЗ-66 — и другими серийными машинами. На первый взгляд, ГАЗ-34 отличался от ГАЗ-66 лишь тремя осями и удлинённым кузовом, однако в действительности пришлось серьёзно переработать многие узлы. Например, двигатель мощностью 140 л. с. позаимствовали у представительской «Чайки», адаптировав его под дешёвый низкооктановый бензин.

Позже модернизированный вариант этого мотора ставили на ГАЗ-53 и бронеразведмашину БРДМ-2. По другим данным, часть опытных образцов оснащалась двигателем от серийного ГАЗ-66 мощностью 115 л. с. Всего построили от пяти до двадцати экземпляров ГАЗ-34, поэтому возможно, что использовались оба типа двигателей.
Поскольку новая машина получилась тяжелее «шишиги», трансмиссию пришлось менять: сцепление взяли от ЗиЛ-130, пятиступенчатую коробку передач и раздатку — от ЗиЛ-131, а привод на задние колёса разработали заново, по образцу ЗиЛ-157. Оттуда же позаимствовали вал отбора мощности для лебёдки. Таким образом, конструкторы собрали воедино всё лучшее из проверенных временем грузовиков.
От ГАЗ-66 ГАЗ-34 унаследовал кабину, ведущие мосты, тормозную систему, два бензобака по 210 литров, односкатные колёса и лебёдку. Платформа же была оригинальной — удлинённой, усиленной и рассчитанной на перевозку 27 человек. Машина комплектовалась тентом с окнами. В сравнении с ЗиЛ-131 новый грузовик был легче примерно на 1,3 тонны, хотя и уступал ему по мощности.

Испытания проходили не только на полигонах, но и в реальных условиях. Огромная страна предоставляла для этого идеальные возможности: жара, мороз, болота, пески, броды, тайга и степи — всё шло в ход. Первым был маршрут Москва — Ашхабад, где машины проверяли в жарких Каракумах при +43. Затем испытания продолжились в Коми, в районе Ухты. Грузовики возили грузы, личный состав, буксировали артиллерию. Всего испытания длились пять лет — до конца 1966 года.
Результаты оказались отличными: ГАЗ-34 получил положительные отзывы и от военных, и от приёмной комиссии. Тем не менее, на конвейер он так и не попал. Вероятно, сыграло роль строгое разделение специализации между заводами: ГАЗ должен был выпускать среднетоннажные машины (серии 51, 52, 53), а тяжёлые грузовики поручили другим предприятиям. В итоге в «соревновании» победили более мощные ЗиЛ-131 и Урал-375.
Позже горьковчане предприняли ещё одну попытку создать трёхосный грузовик — на этот раз на базе ГАЗ-53, с двойными шинами и грузоподъёмностью 7 тонн. Однако и этот проект не вышел за рамки опытных образцов — появление ЗиЛ-133 сделало его ненужным. После этого на ГАЗе окончательно отказались от идеи собственных тяжёлых грузовиков.