가지산의 높이는 1,240m이고, 태백산맥의 남쪽 여맥에 있는 산으로서 이 산에서 크게 세 방향으로 능선이 뻗어 있다. 그 가운데 문복산(文福山, 1,013m)을 연결하는 북동 능선과 운문산(雲門山, 1,188m)을 잇는 서쪽 능선은 경상남북도의 도계를 이루고, 능동산(陵洞山, 982m)·천황산(天皇山, 1,189m)으로 이어지는 남서 능선은 밀양시와 울산시의 경계를 이루고 있다. 남쪽 사면을 제외하면 대부분 완만한 경사를 이룬다. 특히, 서쪽의 운문산과는 약 10㎞ 거리로 나란히 솟아 있어 멀리서 보면 하나의 산에 있는 쌍봉같이 보인다. 지질은 쥐라기에 관입한 화강암으로 되어 있어 곳곳에 기암괴석의 암봉이 많다.
