Родился в селе Белогорье Воронежской области в семье крестьянина. С 1912 г. трудился в хозяйстве отца. В 1918 г. окончил белогорскую среднюю школу, а в марте 1919 г. добровольно вступил в ряды Красной Армии, участвовал в боевых действиях на Южном фронте.
В 1935 году Иван Владимирович окончил Военно-транспортную академию. В 1939 г. назначается уполномоченным СНК СССР по транспортному обеспечению операций на реке Халкин-Гол. Затем работает начальником: Западной железной дороги, северо-западного направления, военного отдела НКПС СССР; член коллегии НКПС.
В годы Великой Отечественной войны начальник Центрального управления военных сообщений Генерального штаба Красной Армии, затем министр путей сообщения СССР.
С 1948 г. И.В. Ковалев — на работе в Китае: руководитель вос-становления Чаньчуньской железной дороги, главный советник по экономическим вопросам.
После возвращения из Китая работает заместителем министра угольной промышленности, а с 1959 г. занимается научно-исследовательской работой в Министерстве обороны. В течение 9 лет преподает в Военной академии Генштаба.
С июня 1970 г. Иван Владимирович, оставаясь на действитель-ной военной службе, работает в Институте мировой экономики, руководя работами по исследованию проблем использования транспорта в интересах Министерства обороны СССР.
И.В. Ковалев был награжден тремя орденами Ленина, тремя ор-денами Боевого Красного знамени, орденами Трудового Красного знамени, Суворова 1-й степени, Кутузова 1-й степени, Отечественной войны, Красной звезды, Октябрьской Революции и двадцатью медалями.
Генерал И.В. Ковалев был единственным, кто находился на военной службе в рядах Вооруженных Сил в течение 74 лет.
Умер Иван Владимирович 28 мая 1993 года, похоронен на Троекуровском кладбище.