Павел Давыдович Коган родился в Киеве в семье Давида Борисовича Когана и Фани Моисеевны Коган. В 1922 году вместе с родителями переехал в Москву.
В 1936-1939 годах  учился в ИФЛИ, затем занимался в Литературном институте им. Горького. Выделялся из группы молодых поэтов, собиравшихся на поэтическом семинаре И. Сельвинского. При жизни не публиковался, хотя его стихи были популярны в кругу московской литературной молодежи. Совместно с другом Георгием Лепским сочинил несколько песен, в том числе песню «Бригантина», с которой позже, уже в 1960-е годы, началась его известность.
В 1937 году написал стихотворение «Поэту», посвященное расстрелу Гумилева и, по-видимому, оставшееся неизвестным органам НКВД. В 1966 году, несмотря на практически дословную цитату из знаменитого гумилевского «Жирафа», это стихотворение было опубликовано в сборнике вместе с другими стихами Когана.
В 1940 году впервые прочитал отрывки из романа в стихах «Владимир Рогов» Иосифу Уткину, руководителю объединения молодых поэтов при Союзе Писателей в Доме Литераторов.
Еще школьником дважды исходил пешком центральную Риссию. Побывал в геологической экспедиции в Армении. Хотя по состоянию здоровья был освобожден от призыва, стал офицером, военным переводчиком  полкового разведотряда в звании лейтенанта. Написал строевую песню для своего батальона на мелодию «Бригантины».