香川県東部に位置し、瀬戸内海に面し志度湾や津田湾がある。市役所は志度地区に置かれている。徳島県との県境には、標高500mから790mほどの讃岐山脈がある。