Родился 19 января 1905 года в деревне Литвиново под г.Кольчугино Владимирской области. С малых лет был вынужден батрачить (семья большая – он был тринадцатым ребенком) у местного богача Румянцева. В возрасте 13 лет пошел на завод в г.Кольчугино сначала рассыльным, потом рабочим. Завод после революции выпускал лучшие сорта металла для самолетостроения, что было отмечено в 1920 г. А.Н. Туполевым. В 1923 г. Зернов познакомился с Полиной Ивановной Николаевой, работавшей в это время на бирже труда г. Кольчугино. Вскоре они поженились и никогда с тех пор не расставались.
Павел Михайлович начинает учиться – он оканчивает Рабфак института народного хозяйства им. Плеханова, затем МВТУ им. Баумана, защищает кандидатскую диссертацию по дизелям. В 1938 г. на заводе «Русский дизель», а также и в г. Горьком он налаживает производство двигателей. Получает «особое задание» — наладить выпуск тракторов на Челябинском, Сталинградском и Харьковском заводах, которое он успешно выполняет.
В начале войны – 15 июля 1941 года — ему поручают наладить в течение месяца выпуск крупнокалиберных пулеметов, с чем он успешно справляется. В кратчайшие сроки П.М. Зернов налаживает выпуск легких танков в Харькове, покидает город последним при вступлении в него немцев, эвакуировав перед этим на Урал только что созданный танковый завод. Снова налаживает выпуск танков уже в Сталинграде. В невероятно трудных условиях военной обстановки выполняет все срочные задания ГКО. В апреле 1942 года налаживает выпуск танков на Урале. В это время его назначают 1-м зам. наркома танковой промышленности и отзывают в Москву, но он не оставляет без внимания самый трудный участок выпуска танков – Урал. Там до 1943 г. выпуск танков был увеличен втрое. В 1943 г. его назначают зам. председателя Госплана СССР. Снова Сталинград, теперь уже в составе Комиссии по восстановлению промышленности и самого города. Под проектом восстановления этого города стоит и подпись П.М. Зернова. После снятия блокады Зернов приезжает в Ленинград, чтобы подготовить проекты восстановления Кировского и Ижорского заводов, а затем занимается той же работой в Калинине, Днепродзержинске, Калининграде.
После войны с февраля 1946 г. П.М. Зернов начинает работать в совершенно новой отрасли науки и промышленности – создании атомной техники. Он становится одним из соратников руководителя работ в этой области — И.В. Курчатова. Павел Михайлович руководит созданием в таежной глуши научно-исследовательского комплекса, конструкторского бюро, предприятий и жилых домов для сотрудников. За достижения при выполнении этих работ П.М. Зернову дважды присваивалось звание Героя Социалистического Труда, присуждены две Госпремии и Ленинская премия. Также он неоднократно награждался орденами и медалями.
В доме П.М. Зернов проживал с женой Полиной Ивановной и дочерями Галиной, Еленой и Ниной с 1942 года в квартире № 184. После его смерти семья оставалась жить в доме до 90-х гг.