Jastrzębia Góra jest położona na Pobrzeżu Gdańskim, w północno-zachodnim krańcu Pobrzeża Kaszubskiego. Sołectwo Jastrzębia Góra graniczy od wschodu z sołectwem Rozewie, od południa z sołectwem Tupadły, a od zachodu przy samym wybrzeżu z sołectwem Ostrowo.
Jastrzębią Górę charakteryzuje wybrzeże klifowe. W zachodniej części nadbrzeże dochodzi do wysokości 33,2 m n.p.m.[3] We wschodniej części Jastrzębiej Góry znajduje się wąwóz Lisi Jar o długości ok. 350 m.
Południowo-zachodnią granicę Jastrzębiej Góry stanowi struga Czarna Woda.
Przez część miejscowości przebiega droga wojewódzka nr 215 (ul. Królewska, ul. Rozewska).
Pas wybrzeża Jastrzębiej Góry stanowi część Nadmorskiego Parku Krajobrazowego (na północ od drogi nr 215 i las na północ od Czarnej Wody). Niezabudowany obszar nadbrzeża Jastrzębiej Góry oraz tereny przy ulicach: Żarnowcowej, Puckiej, Drodze Rybackiej stanowią część specjalnego obszaru ochrony siedlisk Kaszubskie Klify. Ponadto mały wycinek terenu nad Czarną Wodą jest częścią Nadmorskiego Obszaru Chronionego Krajobrazu.
