Павел Яковлев родился 15 декабря 1853 года в селе Боринские Заводы Липецкого уезда Тамбовской губернии. Первоначальные художественные навыки он приобрёл в уездном училище в Задонске. В 1865 году Павел приехал в Москву, где занимался в иконописной мастерской.
В 1867 году Павел поступил в Московское училище живописи, ваяния и зодчества (МУЖВиЗ), где учился у В.В. Пукирева. Он пользовался покровительством инспектора училища К.А. Трутовского. Особое влияние в годы учёбы она Павла оказал В.Г. Перов. В 1870 за картину «Пьяница» он получил денежную премию. Лето 1870 года Павел провёл на родине, где написал картину «Убийство на большой дороге», за которую получил стипендию и мастерскую от МУЖВиЗ, а также по ходатайству руководства Училища он был освобождён от рекрутской повинности. Он также получал стипендию от К.Т. Солдатенкова, на средства которого совершил долгосрочное путешествие по России. В 1874 году за эскиз картины «Братья–разбойники» на сюжет поэмы А.С. Пушкина Павел получил денежную премию. В 1875 году за картину «На пожарище» он был награждён Большой серебряной медалью, но из-за нехватки средств он в 1877 году оставил учёбу, не окончив курса, и переехал в Воронеж.
До 1884 года Павел жил в Воронеже. В конце 1870-х годов он совершил поездку по России, собирая материал для картины «После градобития» («Крестьянин в поле»). В 1884 году Павел вернулся в Москву. С 1895 года он входил в Общество художников исторической живописи, входил в состав Правления Общества. В 1900-х годах Павел Филиппович давал частные уроки, работал как книжным и журнальным иллюстратором, в 1906–1913 годах – сотрудничал в издании «Дневник писателя» (с 1910 – «Светоч и дневник писателя»), выполнил иллюстрации к произведениям Р. Киплинга (1909), А.В. Жиркевича (1915–1916). Он создал портреты актёров Л.Н. Гейтен (1893), Д.В. Гарина–Виндинга (1905), О.А. Правдина (1912), шаржи на актёра В.Н. Андреева–Бурлака (1880-е). В 1910-х годах Яковлев занимался росписями и реставрацией храмовых плафонов: в 1910–1913 годах участвовал в росписи купола храма в имении писателя Н.А. Чаева в Костромской губернии, в 1912 году – плафона Иверской часовни на Красной площади в Москве. Павел Яковлев –малоизвестный, но вместе с тем заметный представитель жанровой живописи второй половины XIX века. В своём творчестве он был близок передвижникам. Его произведениям свойственны повествовательность, ярко выраженный критический аспект, драматизм сюжета – «На пожарище» (1875), «После градобития» (1884), «В тихой обители» (1896), а некоторые из них, напротив, отмечены добродушным юмором – «Переезд художника на новую квартиру» (1889). Во второй половине 1890-х годов популярность Яковлева пошла на спад, и о его жизни мало что известно.
С 1872 года Павел Яковлев стал участвовать в выставках Московское училище живописи, ваяния и зодчества. В залах Московского общества любителей художеств он устроил выставку одной картины «Нет пощады» (1891), участвовал в двух выставках Общества художников исторической живописи (1896 и 1898), в выставках Боголюбовского рисовального училища и Казанской художественной школы. В 1908 году в Москве состоялась его персональная выставка.
Работы Павла. Яковлева хранятся в Государственной Третьяковской галерее, Государственном Русском музее, Воронежском областном краеведческом музее (Дом–музей А.Л. Дурова), Государственном музее истории российской литературы им. В.И. Даля, Национальном художественном музее республики Беларусь в Минске, Ивановском областном художественном музее, в других музеях и картинных галереях, а также в частных собраниях.
Павел Яковлев умер в 1921 году в Москве.
