최근 방화벽과 UTM 분야에서는 더욱 다양한 보안 기능을 통합하여 제공하려는 움직임이 두드러지게 나타나고 있다. XTM(eXtensible Threat Management, 확장형 위협관리), 수퍼 방화벽, 차세대 UTM으로 지칭되는 새로운 개념의 네트워크 보안 장비는 기존의 방화벽과 UTM 솔루션에 엔터프라이즈급 성능, 강력한 연결 옵션, HTTPS와 VoIP 보안, 인스턴트 메시징 및 P2P 애플리케이션 블로킹 등 혁신적인 기능을 추가하여 네트워크를 강력하게 보호한다. 

방화벽, UTM(Unified Threat Management : 통합위협관리)이 한 차원 더 진화한 XTM(eXtensible Threat Management : 확장형 위협관리) 솔루션으로 진화하면서 더욱 강력한 보안, 더욱 다양한 고객의 선택 옵션을 제공하고 있다. 점점 복잡해지는 네트워크 환경, 다양한 애플리케이션의 출현 등, 급속도로 변화하는 네트워크 환경에 맞춰 UTM의 기능도 빠르게 변화하고 있다.

UTM이라는 용어는 2003년 IDC의 연구원인 찰스 콜로지(Charles Kolodgy)가 처음 소개한 것으로 기존의 방화벽과 VPN 기본 기능에 URL 차단, 스팸방지, 스파이웨어 차단, 침입탐지(IPS), 안티 바이러스와 같은 다양한 보안 기능을 하나의 장비에 탑재한 네트워크 보안 솔루션을 의미한다.

UTM의 장점을 극대화하는 XTM

여러 보안 기능을 하나로 통합한 UTM 장비를 도입하면 기존에 각각 다른 솔루션을 구입하여 보안시스템을 구축하는 것과 비교할 때 몇 가지 혜택을 제공한다. 먼저 가장 중요한 점으로는 비용절감 효과를 들 수 있다. 보안 기능이 필요할 때마다 단품 솔루션을 구입한다면 구입비용은 물론 유지보수 비용, 인건비 등 훨씬 더 많은 보안 예산이 필요하다. UTM은 필요한 기능을 한 대의 장비에 통합하여 제공함으로써 뛰어난 예산절감 효과를 제공한다.

보안효율을 향상할 수 있다는 점도 UTM의 장점으로 꼽는다. UTM 솔루션은 일반적으로 게이트웨이 보안 장비이다. 게이트웨이에서 여러 종류의 보안 위협을 차단하면 내부 네트워크는 더욱 안전하게 보호된다. 악성 프로그램들이 데스크탑이나 서버까지 침투할 수 없기 때문에 기업 내부의 중요한 파일이나 애플리케이션을 보호할 수 있다.

관리의 편리성과 인건비 절감도 UTM이 각광받는 이유 중 하나이다. 여러 종류의 단독형 보안 솔루션을 설치할 경우 서로 다른 관리콘솔을 사용해야 한다. 기업에서 네트워크 보안을 위해 새로운 보안정책을 적용해야 할 경우 여러 개의 보안 정책을 각각의 서로 다른 보안 시스템에 적용해야 하는데 이 경우 많은 시간이 소요될 뿐만 아니라 보안 담당자에게는 상당히 번거로운 일이다. 로그 포맷이나 저장위치도 시스템 별로 각각 달라 기업의 네트워크 상황을 전체적으로 파악하기 위해서는 각각의 로그를 별도로 수집하고 이를 분석해야 하는데 UTM 솔루션을 이용하면 이를 간단히 해결할 수 있다.

마지막으로 UTM은 기업 전반에 걸쳐 일관성 있는 보안 정책의 적용이 가능하다는 점에서 유용하다. 모든 보안 서비스를 통합하여 한 대의 장비에 탑재하였기 때문에 보안 정책의 적용과 변경이 용이하다. XTM은 이러한 UTM의 장점을 더욱 확대발전 시키는 보안 솔루션으로 주목받고 있다.

다양한 기능 더 효과적으로 통합

최근 방화벽과 UTM 분야에서는 더욱 다양한 보안 기능을 통합하여 제공하려는 움직임이 두드러지게 나타나고 있다. XTM(eXtensible Threat Management, 확장형 위협관리), 수퍼 방화벽, 차세대 UTM으로 지칭되는 새로운 개념의 네트워크 보안 장비는 기존의 방화벽과 UTM 솔루션에 엔터프라이즈급 성능, 강력한 연결 옵션, HTTPS와 VoIP 보안, 인스턴트 메시징 및 P2P 애플리케이션 블로킹 등 혁신적인 기능을 추가하여 네트워크를 강력하게 보호한다. 또한 클러스터링, 로드 밸런싱 등 첨단 네트워킹 기능은 물론 역할기반 액세스 컨트롤 (RBAC), 중앙집중형 멀티박스 관리 기능을 갖추었으며 리포팅 기능도 대폭 향상한 것이 특징이다.

새로운 애플리케이션이 보급되고 있는 상황에서 새로운 위협이 등장할 때마다 장비를 새롭게 구입해야 한다면 비용 부담은 물론이고 관리 측면에서도 어려움에 직면할 수밖에 없다. 통신비 절감을 위해 빠르게 보급되고 있는 VoIP의 경우 DoS 공격, 디렉토리 정보탈취(Directory Harvesting), 비싱(Vishing: 보이스 피싱) 등 새로운 공격에 노출되면서 보안 담당자의 관심을 집중시키고 있다.

최근 확장형 위협관리 솔루션에 탑재되기 시작한 VoIP 보안 기능의 경우 NAT, 포트 위장술(Port Obfuscation)을 활용해 기업의 VoIP 시스템이 공격자에게 노출되지 않도록 효과적으로 감추어 준다. 또한 SIP과 H.323 등, VoIP 관련 프로토콜에 대해 프록시 기술을 활용한 애플리케이션 보안을 적용한다. 이를 통해 디렉토리 정보탈취, 버퍼 오버플로우 등, VoIP의 주요 위협을 차단한다.

인스턴트 메시징(IM)이나 P2P블로킹 기능도 강화하여 보안의 허점을 줄여준다. 단순히 포트만 차단할 경우 공격자는 포트변경 등 우회적인 공격 방식을 계속 시도할 수 있다. XTM의 IM 보안에서는 애플리케이션 검사 수행과 포트 및 프로토콜 확인을 병행함으로써 생산성을 떨어뜨리고 공격에 악용되는 인스턴트 메시징과 P2P를 효과적으로 차단한다.

암호화된 트래픽에 대한 보안도 XTM에 확장된 기능 중 하나이다. 온라인 뱅킹 등 웹을 통한 금융 결제, 기업 정보 시스템에서 민감한 정보를 전송하는데 주로 활용되는 HTTPS 트래픽의 경우 암호화 처리가 되어 있기 때문에 데이터가 포함하고 있는 위협을 직접 확인할 수 없어 보안상의 허점으로 부각되고 있다. HTTPS 트래픽은 다운로드형 공격에 악용될 수 있으며 멀웨어나 HTTPS 쿠키 하이재킹과 같은 공격에 노출되므로 이에 대한 대비가 필요하다.

인바운드는 물론 아웃바운드 트래픽에 대한 관리기능도 추가되는 추세다. 허용한 트래픽만 네트워크를 빠져나갈 수 있는 이그레스 필터링(Egress Filtering) 기술을 적용하여 기업의 네트워크가 DDoS 공격에 악용되지 않도록 방지한다.

XTM은 이외에도 DLP, DDoS 공격 방어, 웹방화벽, NAC 등, 네트워크 보안에 필요한 기능을 계속 확장해 나감으로써 기업 보안의 플랫폼으로 광범위하게 활용될 전망이다. 또한 ‘미지의’, ‘미래형’ 공격에 대응할 수 있는 확장형 플랫폼을 갖추어 급변하는 인터넷 환경에서 기업의 보안 역량을 한 차원 끌어 올려 준다.

더욱 강화되는 네트워킹 기능 

차세대 방화벽에서 뚜렷하게 나타나는 특징 중 하나는 네트워킹 기능이 대폭 강화된다는 점이다. 먼저 방화벽과 VPN 스루풋의 향상이 눈에 띈다. 네트워크 백본 속도가 빨라지면서 여기에 맞춰 10Gbps 방화벽이 본격적으로 설치되는 추세이다.

여러 대의 장비를 마치 한 대의 논리적인 장비처럼 관리할 수 있으면서도 성능을 배가하는 강력한 클러스터링 기능을 통해 액티브/액티브 로드 밸런싱과 중단 없는 페일오버, 세션 싱크로나이즈 기능을 활용할 수 있으며 필요에 따라 유연한 시스템 확장이 가능하다.

WAN 및 VPN 페일오버와 다이내믹 라우팅, 트래픽 쉐이핑 등의 기능은 까다로운 보안 요건이 필수적인 환경에서 네트워크 성능을 극대화하고 이중화 구성이 가능하도록 지원한다. VPN 터널에서 멀티캐스트가 가능하기 때문에 여러 대의 장비에 대해 보안정책을 효율적으로 적용한다. 외부용 인터페이스에 대해 여러 개의 VLAN을 할당하여 사용하면 부서별로 트래픽을 분리시키고 독립적인 보안 정책을 구사할 수 있다.

모바일 사용자에 대한 보안도 강화된다. 안전하게 VPN 연결이 가능하도록 IPSec 모바일 VPN의 로밍 기능을 통해 사용자는 여러 개의 액세스 포인트로 이동하거나 3G 연결 포인트를 활용할 경우에도 VPN 터널을 끊어지지 않은 채로 유지할 수 있다. RBAC(Role Based Access Control : 역할 기반 액세스 컨트롤) 기능은 보안정책의 더욱 효과적인 관리와 보안 효과를 제공한다. 지정된 관리자만이 방화벽/XTM 장비를 관리하고 사용자 그룹별로 권한을 설정하여 보다 정교한 관리가 가능하다.

UTM 도입 시 고려 사항

● 통합보안 성능

UTM 솔루션은 여러 보안 서비스를 하나의 장비에서 동시에 운영하기 때문에 장비 성능 관련 이슈가 매우 중요하다. UTM 솔루션이라고 하지만 장비성능에 대한 고려 없이 단순히 여러 보안 기능을 하나의 장비에 나열해 놓은 장비에서는 성능 문제가 발생할 수 밖에 없다. 이러한 통합 성능의 이슈는 더 많은 보안 기능을 통합하는 XTM에서는 더욱 큰 차이를 보이게 될 것으로 보인다.

성능저하 없이 여러 보안 서비스들을 동시에 운영하기 위해서는 특별한 설계가 필요하다. UTM 솔루션에 탑재된 여러 보안 서비스들이 각각 독립적으로 운영된다면 특정 보안서비스에서 발견된 유용한 정보를 다른 보안 서비스에서 공유하여 이를 효율적으로 사용하는 레버리지 효과를 얻을 수 없다.

정상 트래픽이 UTM 솔루션을 통과할 때 탑재된 모든 보안 서비스들이 이 트래픽을 매번 다시 검사한다면 장비에 심각한 성능저하를 가져올 수 있다. 이러한 현상을 막기 위해서 UTM 장비에 탑재된 각각의 보안 서비스는 유입되는 트래픽에 대한 정보를 서로 공유하도록 설계하는 것이 필요가 있다.

유해한 트래픽이 내부로 유입된 후 특정 보안 서비스에서 차단되었다면 가장 앞 단에 위치한 보안 서비스에서는 해당 트래픽에 대한 정보를 공유하여 유해 트래픽이 다시 유입될 경우 미리 차단하는 기능이 필요하다. 실제로 UTM 장비의 성능 측정은 그리 쉽지 않다. UTM 장비의 성능은 어떤 종류의 트래픽이 유입되는지, 방화벽 룰은 얼마나 복잡하게 설정되어 있는지, 맺고 있는 VPN 터널의 개수가 얼마나 되는지, 얼마나 많은 보안 서비스들이 활성화 되어 있는지 등 여러 변수에 따라 매번 달라진다.

일부 벤더는 자사 제품의 성능을 소개할 때 ‘이론적인 최고 성능’을 말하는 경우가 있으므로 유의한다. 매우 큰 패킷으로 스루풋 성능을 체크하거나 로깅은 전혀 없이 가장 기본적인 룰 세트(permit ip any any)를 사용하는 식이다. 다른 모든 프로세스는 꺼버리고 딥패킷 검사나 UTM 기능을 비활성화한 후 측정한 결과치를 제시하는 경우도 많다.

또 한가지 UTM의 통합보안 성능을 체크하는 것이 중요하다. 일부 제품의 경우 IPS와 안티 바이러스 기능을 동시에 가동하지 못하는 경우도 있으며 안티 바이러스 기능을 가동할 경우 방화벽 성능이 급격히 떨어지는 경우가 있으므로 주의가 필요하다. 전문 테스트 기관에서 실시한 객관적인 BMT 결과를 확인해 보면 UTM 솔루션의 장단점을 확인하고 구매 기준을 체크할 수 있으므로 참고한다.

● 10Gbps 방화벽 - 보안의 성능이 더욱 중요한 이슈로 부각

최근 네트워크 인프라가 점차 고도화 되면서 10Gbps 방화벽의 보급도 빨라지고 있다. 고성능 UTM의 경우 보안 성능은 더욱 중요한 이슈로 부각된다. 10Gbps라는 빠른 속도로 흘러 들어오는 패킷을 빠르게 검사하려면 그만큼 보안장비의 성능이 중요하게 마련이다.

딥 패킷 검사는 CPU를 집중적으로 사용하는 활동이기 때문이다. 개별 패킷을 분석해서 IP 헤더와 전송계층의 헤더를 검사해야 하며 만일 페이로드 검사를 추가로 수행해야 한다면 패턴 매칭을 수행하기 위한 프로세싱 시간이 더 필요하다. 대부분의 방화벽에서는 각각의 패킷을 탑다운의 순서로 매칭하지만, 룰 매칭을 더욱 빠르게 수행하기 위해 복잡한 매칭 알고리즘을 사용한다. ASIC(Application-Specific Integrated Circuits)는 방화벽의 성능을 향상하도록 도와준다. 일반적으로 소프트웨어에서 수행되는 기능을 매칭 및 패킷 필터링에 최적화된 하드웨어에서 수행하기 때문이다.

● 제로데이 공격방어 능력

알려진 공격에 대한 방어는 대부분의 UTM 솔루션에서 무리 없이 수행된다. 문제는 항상 새로운 형태로 등장하고 변종으로 유입되는 알려지지 않은 공격에 대한 대응이 가능한지 여부이다. 좋은 UTM 장비라면 제로데이 공격방어 기능과 시그니쳐 기반의 보안 서비스가 서로 유기적으로 동작하여 스캔이 필요한 전체 트래픽 양을 줄이고 실제 사용하는 시그니처의 수도 줄여주는 과정이 필수적이다. 이는 결과적으로 시그니처 기반 서비스의 오탐율을 줄이는 효과를 가져온다.

특히 주목할 것은 프록시 기술의 사용 여부이다. 애플리케이션 프록시는 패킷을 스크린하는 가장 정교한 방법으로 인식되고 있다. 패킷 필터링 방식이나 스테이트풀 패킷 검사 방식(Stateful Packet Ins pection)과는 달리 애플리케이션 프록시의 경우 OSI 7 모델의 애플리케이션 레이어에 대한 구체적인 정보를 확인할 수 있다. 프록시 방화벽은 최상의 컨텐츠 필터링 역량을 제공한다. 패킷의 페이로드를 검사할 수 있기 때문에 컨텐츠에 맞춰 의사결정을 내릴 수 있도록 돕는다.

따라서 프록시 기술은 방화벽을 통과하는 트래픽에 대해 관리자가 더욱 강력한 통제를 할 수 있도록 한다. 정교한 컨트롤 기능 때문에 많은 보안 전문가들이 프록시 방식을 시그니처 기술과 결합하여 서로 보완적으로 사용할 것을 권장하고 있다.

●가격대비 성능, 확장성 

UTM이나 XTM 솔루션의 도입을 검토할 때 가격대비 성능과 확장성도 중요하게 고려한다. 가격대비 성능을 검토하는 중요한 척도 중 하나는 방화벽 처리속도 1Mbps당 가격이다. 일부 제품의 경우 성능이 높이지면 가격은 훨씬 더 높이는 경향이 두드러지기 때문이다. 너무 높은 성능만을 고집하기 보다는 자사의 네트워크 환경에서 잘 맞는 성능을 제공하는 제품을 고르는 것도 중요한 포인트이다.

빠르게 성장하는 기업의 경우 확장성도 중요하게 검토해야 한다. 증가하는 직원 수, 늘어나는 지점 등 네트워크 보안 솔루션의 확장이 필요할 때 보안 제품을 통째로 바꾸지 않고도 확장할 수 있는지 여부를 확인한다. 또한 새로운 보안 기능이 필요할 때 기존 플랫폼에 기능을 추가할 수 있는지 여부도 검토한다. 예산 절감 효과를 극대화하고 ROI를 극대화할 수 있으려면 보안 장비의 유연성이 필수적이다.

<글 : 정종우 워치가드코리아 지사장(John.Chung@watchguard.com)>

[월간 정보보호21c 통권 제108호 (info@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>