Он рано лишился отца и был воспитан дядею, гвардейским офицером Алексеем Ивановичем Шаховским. В четырнадцатилетнем возрасте определён в лейб-гвардии Семёновский полк. Дослужился до поручика и перевёлся в Конную гвардию. В 1730-х служил непосредственно под началом Алексея Ивановича и часто ездил с докладами лично к Анне Иоанновне и Бирону.
 
В 1738-1739 годах в составе лейб-гвардии Конного полка участвовал в русско-турецкой войне. Вернувшись в Москву, был назначен в 1740 году советником в Главную полицию. Затем занял пост генерал-полицмейстера и получил чин Действительного статского советника. Назначенный при Анне Леопольдовне сенатором, в 1741 году, при восшествии на престол Елизаветы Петровны, был лишен этого звания. Вскоре Яков Петрович вернулся к делу и стал Обер-прокурором Святейшего Синода.
 
В 1753 году Я. П. Шаховской назначается генерал-кригскомиссаром. В 1760 — Генерал-прокурором и одновременно Конференц-министром. В 1761 году новый император Петр III отправляет Шаховского в отставку. Екатерина II вновь призывает Шаховского на службу, назначив его сенатором. В день своей коронации императрица жалует Шаховскому орден Св. Андрея Первозванного.
 
1 апреля 1766 года Действительный тайный советник и сенатор Я. П. Шаховской, по состоянию здоровья, вышел в отставку.
 
В общем-то, обычная, в той или иной степени, биография для князя. Но, как обычно, на Руси всегда бытуют два противоположных лагеря: ревнители закона, дел добрых и всякого рода ворьё, взяточники, неправедные судьи. О первых мы узнаём из книг. О вторых — из жизни. Яков Петрович как раз и написал такие мемуары, вобравшие наблюдения — «в оном чину наиглавнейших злодеев иметь буду» — и озаглавленных «Записки князя Я. П. Шаховского, полицмейстера при Бироне, обер-прокурора Св. Синода и конференц-министра в царствование Елизаветы и сенатора при Екатерине II», впервые изданы в 1810 году.