В центре сюжета картины "Куда идешь, солдат?" - история шестерых братьев Оганянов, которые в начале Великой Отечественной войны оказались в одном взводе. Их путь начинается на западных рубежах России, где они сталкиваются с жестокостью первых военных дней: бомбежками, отступлениями и атаками. Братья, будучи крестьянами, одновременно учатся военному делу и русскому языку.
По мере продвижения к Берлину количество Оганянов в живых сокращается. К финалу войны до столицы Германии добираются лишь двое - Егиш и Дереник. После окончания боевых действий Егиш решает вернуться на родину, в Армению, взяв с собой удочеренную им семилетнюю Машу Павлову, которая является дочерью его погибшей однополчанки.
Фильм показывает не только военные испытания и потери, но и человеческие связи, которые сохраняются и укрепляются в условиях войны. Это история о братстве, долге и поиске своего пути домой после тяжелых испытаний.