Гродеков родился в Елисаветграде Херсонской губернии в обедневшей офицерской семье. Рано осиротел и воспитывался в Александринском сиротском кадетском корпусе в Санкт-Петербурге. В 19 лет окончил престижное 2-е Константиновское военное училище. Высшее военное образование получил в Николаевской академии Генерального штаба (1868), был произведен в штабс-капитаны.

Начало службы Н. И. Гродекова проходило в Генеральном штабе. В 1869 г. получил перевод в штаб Кавказского военного округа, где дослужился до старшего адъютанта. Далее почти 20 лет его жизнь была связана со Средней Азией, Туркестаном.


В 1873 г. в качестве начальника Мангышлакского отряда участвовал в Хивинском походе и был произведен в полковники.


В 1876 г. был направлен начальником штаба в Ферганскую область, где под командованием военного губернатора Скобелева М. Д., участвовал в таких сложных операциях как: пробег верхом в сопровождении двух джигитов по Северному Афганистану, поход к Джамму на границе Бухарского ханства, 2-я Ахалтекинская экспедиция.

В 1883 г. был назначен военным губернатором и командующим войсками Сырдарьинской области, где прослужил два срока.

В 1893 г. начал службу на Дальнем Востоке. Сначала первым помощником Приамурского генерал-губернатора С. М. Духовского, а с 1898 занял генерал-губернаторский пост и являлся командующим войсками Приамурского военного округа, войсковым наказным атаманом казачьих войск.


26 сентября 1902 г. Н. И. Гродеков окончил службу и уехал в Санкт-Петербург, на должность члена Государственного Совета. Спустя четыре года вернулся на Дальний Восток командующим всеми дальневосточными сухопутными и морскими вооруженными силами. С 1908 г. до самой своей кончины 12 декабря 1913 г. жил в Петербурге, похоронен на Смоленском православном кладбище.