브람스는 해마다 여름이 되면 뵈르트 호수와 조용한 숲으로 둘러싸인 쾌적하고 아늑한 푀르차흐(Pörtschach)에서 작곡에 몰두하곤 했다. 1877년 여름에도 브람스는 이곳 푀르차흐에서 그의 두 번째 교향곡을 작곡하기 시작했다. 교향곡 1번을 완성하기까지 20여 년이 걸렸던 것과 달리, 교향곡 2번은 채 반년도 되지 않아 빠른 속도로 완성되었다. 이 곡은 1번 교향곡의 묵직한 비극성 대신 밝고 온화하며 전원적인 분위기를 물씬 풍겨 흔히 '목가 교향곡'이라 불린다.

그러나 브람스의 작품에는 언제나 한 겹 더 깊은 감정이 숨어 있다. 브람스가 남긴 편지를 보면 그의 교향곡 2번에 사용된 트롬본의 의미가 나타나 있는데, 그는 "저는 1악장에서 트롬본을 쓰지 않으려고 했습니다만, 1악장의 도입부에서 그걸 뺄 수가 없었습니다. 여기서 제 자신이 얼마나 우울한 사람인지를 밝히지 않을 수 없군요. 저는 검은 날개가 항상 우리를 덮치려 한다는 느낌을 떨쳐버릴 수가 없습니다"라고 고백했다. 이는 밝고 서정적인 표면 아래 브람스 특유의 고뇌와 사색이 공존하는 복합적인 아름다움을 드러낸다.

경쾌하고 서정적인 1악장은 호른의 울림과 함께 전원의 평화로운 풍경을 그려내며 시작하고, 이어서 등장하는 바순과 첼로의 부드러운 선율이 따뜻한 인상을 더한다. 느린 2악장은 깊은 사색과 낭만적인 서정성을 동시에 품고 있으며, 3악장은 우아하고 경쾌한 민속춤곡 풍의 선율이 다채로운 표정을 만든다. 그리고 마지막 4악장은 환희에 찬 에너지와 웅장함으로 가득하여, 모든 고뇌를 극복하고 도달한 해방감과 희망을 선사하며 장엄하게 마무리된다. 이 곡은 고전주의의 완벽한 형식과 낭만주의의 풍부한 감성을 조화롭게 엮어낸 브람스 교향곡의 진수를 보여준다.