Родился в станице Безопасной Северокавказского края в семье сапожника. С 14 летнего возраста – на активной комсомольской и советской работе. В период гражданской войны неоднократно получал награды за участие в борьбе с бандитизмом. После окончания губсовпартшколы работал последовательно инструктором Белоглинского укома ВКП (б), секретарем Медвижинского райкома КСМ, заворготделом и секретарем комсомола и ответственным инструктором Северо-Кавказского крайкома комсомола. С 1924 г. – член ВКП (б). В 1927 г. окончил Северокавказские краевые курсы марксизма. С 1926 по 1928 гг. – секретарь Дивенского и Курсавского райкомов ВКП (б).
После службы в рядах РККА работал ответственным инструктором и зам. зав. орготделом ЦК ВЛКСМ. С декабря 1930 г. по ноябрь 1931 г. – секретарь ЦК комсомола Узбекистана, после чего был зав. инструкторским сектором и первым зам. зав. Орготделом ЦК ВЛКСМ. В 1932г. избран пленумом ЦК ВЛКСМ зав. военным отделом и членом бюро ЦК ВЛКСМ, а с 1934 г. – зав. Транспортным отделом ЦК ВЛКСМ. Избирался в состав Ставропольского окружкома ВКП (б) и окрисполкома, Северо-Кавказского и Среднеазиатского крайкома ВЛКСМ ЦК партии Узбекистана и ЦИК УзбССР.
В 1933 г. Иван Иванович Харченко в месячный срок прошел практическое обучение в военной школе летчиков, сдал на «отлично» испытания на звание летчика, изучив теорию авиационного дела во время нахождения на руководящей комсомольской работе. На счету у него было 259 вылетов и 22 парашютных прыжка. Также он мастерски водил мотоцикл. В 30-х годах Иван Иванович оказался во главе молодежного движения страны – он был заведующим отделом ЦК ВЛКСМ и утвержден 13 ноября 1936 г. первым секретарем Высшего совета по делам физкультуры и спорта при ЦИК СССР. В 1937 г. он — председатель Комитета по делам физкультуры и спорта при СНК СССР. Проживал он в это время с женой и дочерью в кв. 485.
Был арестован 31 июля 1937 г. Военной коллегией Верховного суда СССР по обвинению в участии в контрреволюционной террористической организации 15 марта 1938 г. приговорен к расстрелу и в тот же день расстрелян. Реабилитирован 9 мая 1956 года.
Жена И.И.Харченко Нина Ивановна Гришина (1916-1943) также была репрессирована, находилась в лагере, была комиссована в 1942г. и через год умерла.