Родился в 1903 г. в улусе Молоевском (ныне Бурятия) Эхирит-Булагатского района. Там получил начальное образование. В 1920 г., чтобы продолжить образование, пешком ушел в Иркутск и поступил в школу для взрослых. Вернувшись в родные места, И.В. Балдынов был назначен секретарем сельсовета в улусе Молоевском. По решению властей только что созданной Бурят-Монгольской республики в августе 1925 г. Балдынов направляется на учебу в Ленинградскую кавалерийскую школу. В 1929 году участвовал в боях на КВЖД. Окончил курсы политработников в Киеве, высшие курсы командного состава конницы в Новочеркасске, а в 1934 г. его направили на учебу в Военную академию им. Фрунзе. Великую Отечественную войну И.В. Балдынов встретил в Новочеркасске, где был преподавателем кавалерийских курсов усовершенствования командного состава. Воевал в должности командира Славянского кавполка, начальника штаба 40-й мотострелковой бригады, заместителя командира 55-й гвардейской Иркутской дивизии, командира 109-й гвардейской стрелковой дивизии. После окончания боевых действий на Западе дивизия Балдынова принимает участие в разгроме войск империалистической Японии. Части дивизии, решительно отбрасывая заслоны японских войск, совершили беспримерный форсированный марш через безводные степи провинции Чахар, высокогорные хребты Большого Хигана. За участие в боях с Японией дивизия получает почетное наименование "Хинганская", а ее командиру 8 сентября 1945 г. присваивается звание Героя Советского Союза.