최근 사용자들이 네트워크 보안 전략을 수립함에 있어 거의 필수적인 인프라로 자리 잡은 솔루션을 꼽으라면 Firewall(침입차단시스템), IPS(침입방지시스템), Web Firewall, DB보안 솔루션 정도가 될 것이다. 이 중 IPS는 2003년 초에 국내에 처음 소개된 이래 지난 6년 동안 수많은 기업과 기관들이 날로 증가하는 유해트래픽과 악성 침해, 각종 애플리케이션의 취약점 공격으로부터 자사의 정보 자원을 보호하기 위해 도입하여 활발히 운영 중에 있다. 그러나 간혹 기술력을 검증받지 못한 제품들이 시장에 유통되었거나 부족한 예산 탓에 저가구매를 한 바람에 적지 않은 IPS 도입 고객들이 기 구매한 IPS의 성능 한계, 방어기능의 부족, 정기적인 보안필터 업데이트를 받지 못해 제로데이 공격에 적절히 대응하지 못하는 등의 문제점을 토로하고 있는 것이 엄연한 현실이다.

공격을 방어하고자 하는 IPS 본연의 도입 목적을 포기하고 단지 인밴드 침입탐지시스템(In-band IDS) 수준의 경보장치로 ‘울며 겨자 먹기’식 운영을 하거나 급변하는 보안환경에 대처하기 위해 어쩔 수 없이 기존의 투자분을 포기하고 신형 IPS로의 교체사업을 진행하는 사례를 종종 목도하게 된다.

이를 예방하기 위해서는 정식으로 제품을 구매하기 이전에 벤치마크 테스트를 통해 성능과 기능평가를 철저히 수행하면 되겠지만, 제대로 된 변별력을 갖추기 위해서는 여러 후보제품들을 최소 한 달 이상 실망(Real Network)에 설치한 후 트래픽 처리 성능, 공격 방어기능, 사용의 편리성, 정기/긴급 보안 업데이트 여부, 필터의 오탐 여부 등을 꼼꼼히 점검해야만 한다.

이러한 테스트 항목에 더불어 IPS가 구현할 수 있는 최대 성능의 측정이 필요한데, 이를 위해서는 사용자의 실제 트래픽을 캡처하여 백그라운드 트래픽으로 적용할 수 있는 고가의 트래픽 생성기가 필요하다. 결국 완벽하게 IPS를 평가하기 위해서는 고액의 테스트 비용과 전담 보안 스페셜리스트 고용, 그리고 상당 기간 동안 현업부서와 구매부서의 업무 할당이 불가결하다. 하지만 이 과정을 모두 시행할 수 있는 사용자는 현실적으로 소수에 불과하다.

그렇다면 새로이 IPS 도입을 계획 중인 고객들이 복잡한 테스트 과정을 일일이 거치지 않고도 안심하고 솔루션을 도입할 수 있는 다른 방법은 없는 걸까? 아마도 그것은 실제로 IPS를 도입하여 사용 중인 기업들의 경험치를 공유하고, 그로부터 솔루션 도입결과를 미리 예상해보는 것이 가장 손쉬운 대안일 것이다.

본고에서는 2회에 걸쳐 네트워크 보안 전략을 수립하고 IPS 솔루션을 선택해야 하는 조직이 적극 고려해야 할 세 가지 기본 영역을 다루고자 한다. 즉, 첫째 오늘날 기업들이 안고 있는 주요 네트워크 보안 과제는 무엇이며, 이러한 과제는 지난 몇 년 간 어떻게 진화해 왔는가, 둘째 새로운 보안 현실의 맥락에서 효율적인 IPS 솔루션의 기준은 무엇인가, 셋째 이미 실망에서 IPS 솔루션을 구축한 기업들의 경험을 통해 어떠한 교훈을 얻을 수 있는가 등이 그것이다.

지금부터 기업들이 최적의 전략을 수립하고 보안 예산과 자원을 효율적으로 활용하기 위해 먼저 무엇을 해야 하는지 살펴보겠다.

새로운 현실

전자 상거래와 비즈니스 주요 애플리케이션이 신속하게 웹 기반으로 바뀌는 이 시대에 보안 위협은 과거 어느 때보다도 빠른 속도로 변하고 있다. 전 세계 해커 커뮤니티의 규모와 기술은 나날이 발전하고 있으며 정교한 스캐닝 및 날카로운 침투력으로 상당한 피해를 초래하는 다양한 툴과 기술들이 널리 유통되고 있다. 이로 인해 해커들은 손쉽게 네트워크, 애플리케이션 및 데이터베이스에 침투해 훔쳐낸 정보를 팔아 이익을 챙기는 범죄를 저지르기도 한다. 게다가 해커뿐 아니라 많은 사람들이 이러한 범죄에 노출되어 있으며 검거될 위험 또한 적어 그 심각성이 더하다.

예를 들어 루마니아의 한 십대 청소년이 볼리비아에 있는 시스템을 이용해 미국의 은행 서버에 침투하는 봇넷(Botnet) 공격을 어떻게 추적할 수 있겠는가? 더군다나 공격을 추적했다 하더라도 법률 기관이 해당 범죄의 성격을 이해하지 못해 수사의 속도가 더뎌지는 경우가 많다. 그러는 사이 피해 기업은 불명예스러운 사고 뉴스와 함께 월 스트리트 저널이나 파이낸셜타임즈의 1면에 실릴 수도 있다.

그렇다면 각 조직과 기관들은 이 문제에 어떻게 대처해야 할까?

이것은 매우 복잡한 문제이며 대부분의 기업은 완벽한 네트워크 보안을 위해 인력과 예산을 무한정 쓸 수 있는 처지가 아니다. 실제로 대부분의 기업에서 수익의 약 5%가 IT에 투입되며 IT 예산 중 단지 8% 정도만이 네트워크 및 정보 보안에 쓰여지게 된다. 다양한 최신 보안 솔루션들이 끊임없이 출시되는 가운데 IT 보안 담당자들은 난처한 과제에 직면해 있다. 즉, 나날이 변화하는 보안 위협 속에서 비즈니스 환경의 안전을 최대한 보장하기 위해 귀중한 예산을 현명하게 사용하는 방법을 모색해야만 한다.

이 방법은 생각보다 간단할 수도 있다. 바로 공격 탐지 및 실행에 이르는 모든 과정을 자동화함으로써 귀중한 IT 보안 인력과 예산을 다른 프로젝트에 활용하는 것이다. 그러나 완전한 보안 자동화를 실현하기란 말처럼 쉽지는 않다. 따라서 IT 보안 의사 결정권자들은 현명한 보안 투자와 더불어 분명한 비즈니스 효과를 보장하기 위해서는 요구 사항을 보다 명확하게 정의해야 한다.

IPS가 갖춰야 하는 기능

IPS(침입방지시스템, Intrusion Prevention System)는 고급 패킷검사 기술을 기반으로 네트워크의 트래픽을 실시간으로 분류하고 보안 정책을 적용하는 시스템으로서 다양한 공격들을 찾아내 트래픽 지연(Latency)이나 오탐(False Positive) 없이 자동으로 차단한다.

이렇게 IPS가 공격을 탐지하고 차단하기 위해서는 매우 엄격한 조건들을 갖춰야 하는데, 이러한 이유로 여타의 제품들은 대부분 엄밀히 말해 공격만 탐지하는 ‘IDS’(침입탐지시스템, Intrusion Detection System)에 불과한 것이 현실이다.

1. 인라인 네트워크의 안정성

실시간 차단을 위해 제품을 탭이나 미러링 포트가 아닌 인라인 방식으로 배치해야 한다. 그러기 위해선 IPS가 처음부터 기존 라우팅 및 스위칭 인프라와 동일한 안정성 및 네트워크 가용성을 제공하도록 설계되어 있어야 한다.

예기치 않은 장애상황을 대비하여 문제가 발생할 경우 IPS는 네트워크에서 정상적인 비즈니스 트래픽을 중단시키지 않으면서 IPS 기능을 제거할 수 있어야 함은 물론이다.   

2. 코어 네트워크급 성능

IPS가 인라인 방식으로 네트워크의 안정성을 보장할 수 있게 되었다면 이제는 멀티 기가bps급의 속도로 트래픽을 처리하고 검사하는가의 문제에 주목해야 한다. WAN 경계에 IPS를 설치해 몇 가지 공격 필터와 일치하는 웜만 차단하던 시절은 지나갔다. 오늘날 IPS 솔루션은 데이터센터, 주요 네트워크 분할 지점 및 네트워크 코어까지 포함하는 주요 네트워크 내부 지점을 보호하면서 거의 모든 공격을 효과적으로 방어할 수 있어야 한다.

내부의 핵심 지점에 IPS를 설치하려는 경우 가동 시간에 관심을 기울일 뿐 아니라 주요 비즈니스 애플리케이션의 성능을 보장하면서 헬프데스크에 직원들의 불만 접수가 폭주하는 일이 없도록 해야 한다.

3. 낮은 지연 시간

애플리케이션 성능은 단순한 대역폭의 문제가 아니다. 낮은 지연 시간 역시 보장되어야 하며, 이는 보안 제품에 있어서 특히 까다로운 과제이기도 한다. 수천 개의 필터를 작동하면서 악성 트래픽을 자동으로 차단하는 보안 제품은 매우 빠른 속도로 검사를 수행해야 한다. 그렇지 않으면 패킷이 지연되고 애플리케이션의 응답 시간이 길어져 내부 구성원들의 불만이 높아진다.

4. 폭넓은 공격 차단 범위

네 번째 과제는 공격 차단의 범위와 속도를 향상시키는 것에 중점을 두는 것이다. 갈수록 다양해지고 정교해지는 공격으로부터 네트워크를 보호하기 위해 IPS는 폭넓고 깊이 있는 공격 차단 기능을 제공해야 한다. 즉 IPS는 웜, 바이러스, 트로이 목마, DoS(Denial of Service) 공격, P2P(Peer to Peer) 파일송수신으로 인한 대역폭 남용, 스파이웨어(Spyware), 피싱(Phishing), 웹 애플리케이션 공격(예 : XSS, SQL 인젝션, PHP 파일 인젝션), VoIP 공격 등을 막아낼 수 있어야 한다. 또한 기본적인 공격 시그니처를 손쉽게 적용할 수 있거나, 잘 알려진 공격뿐 아니라 OS와 애플리케이션의 취약점까지 포괄하도록 필터를 설계해야 한다.

이러한 IPS 필터는 주기적으로 적시에 업데이트 되어야 한다.

이를 위해서는 세계 정상급의 보안 연구 인력에 의한 필터 작성, 테스트 및 배포체계가 필요한데, 이는 티핑포인트와 같은 몇몇 선구적인 제조사와 연구기관을 제외하고는 아직 갖춰지지 않은 희망사항에 불과할 뿐이다.

5. 고도의 필터 정확성

네트워크 내부 및 경계의 주요 지점에 IPS 솔루션을 설치할 때 필터의 정확성이 가장 중요하다. 필터 정확성이 확보되지 않는다면 보안 담당자에게 엄청나게 많은 보안 경보가 쏟아져 들어오며 그 중 상당수는 잘못된 경보일 것이다. 그러한 경우 자동화로 인해 IT 담당자가 잘못된 경보를 하나씩 분석하는데 시간을 허비하고 정작 진짜 경보를 놓치게 되면서 IT 생산성 저하를 초래하게 된다.

대부분의 IPS 공급업체들은 웜, 스파이웨어 및 피싱 공격을 비롯해 최신 웹 애플리케이션 공격까지 망라하면서 다른 솔루션이 제공하지 못하는 포괄적인 네트워크 보안을 실현할 것이라고 주장하고 있다. 그러나 IPS 및 IDS 공급업체들이 주장하는 바가 거의 비슷하다는 점을 고려할 때 IPS 제품 평가는 상당히 혼란스러울 수 있다. IDS 중심 기술을 기반으로 한 IPS는 실제 트래픽이 있는 네트워크에 설치해 관리하기 전까지 트래픽을 잘못 탐지하거나 혼동을 줄 수 있다.

IPS는 원치 않는 네트워크 트래픽을 실시간으로 탐지하고 차단해야 한다. 그러나 미국의 시장조사기관인 인포네틱스 리서치(Infonetics Research)가 실시한 조사에 따르면 IPS 솔루션이 실제 환경에서 제공하는 결과에는 분명한 차이가 있다.

인라인 밴드 솔루션, 실제 설치율 높아

리얼 월드, 즉 실제 운영중인 네트워크에서 IPS 사용자들은 이 솔루션을 어떻게 평가하고 있을까?

최근 인포네틱스 리서치는 IPS 사용자들을 대상으로 만족도를 조사했다. 인포네틱스 리서치는 2008년 8월에 IPS 제품을 직접 사용하고 관리하는 169개의 기업(기업 당 평균 직원 수 : 9,418명)을 대상으로 IPS 솔루션을 구매, 설치 및 사용하는 방법을 설문 조사하여 발표했다. 이 조사는 시스코, IBM(ISS), 맥아피, 소스파이어 및 티핑포인트의 IPS 제품 및 서비스를 관리하거나 계획하는 담당자들을 대상으로 실시됐다.

아웃오브밴드 방식의 제품은 네트워크 공격을 ‘탐지’할 수는 있으나 이를 막을 수는 없다. 반면 인라인 밴드 방식의 제품은 L2부터 L7까지의 데이터 패킷에 대해 실시간 고급 검사 및 “차단”을 수행한다.

인포네틱스 리서치의 IPS 사용자 조사 결과인 그림 1을 보면 설치 방식에서 IPS 공급업체들 간에 상당한 차이가 있음을 알 수 있다.

티핑포인트 사용자의 91% 이상이 IPS를 인라인 밴드 방식으로 설치한 반면 시스코, IBM(ISS) 및 맥아피의 인라인 밴드 방식의 설치율은 각각 70% 미만에 불과하다고 사용자들은 밝혔다. 이러한 결과는 티핑포인트 IPS 솔루션이 업계 최고 수준의 안정성 및 멀티기가급 처리 속도, 낮은 지연시간 등으로 맞춤 설계되었기 때문에 가능한 것이다. 티핑포인트는 200Mbps ~ 5Gbps의 처리속도를 지원하는 제품군을 보유하고 있으며 공격 탐지 시 네트워크 지연 시간은 84 마이크로세컨드를 넘지 않는다. 또한 티핑포인트의 코어 컨트롤러 10G IPS 솔루션은 최대 20Gbps의 처리속도를 자랑한다.

“제대로 만들어진” 인라인 밴드 방식 솔루션 필요해

그렇다면 일부 사용자들이 여전히 IPS를 인라인 밴드 방식으로 설치하는 것을 망설이고 있는 까닭은 무엇일까? 왜 악의적인 공격을 사전에 차단할 수 있는 장점이 있음에도 불구하고 사용자들은 인라인 밴드 방식의 설치에 소극적인 태도를 보이는 것일까?

인포네틱스 리서치 IPS 사용자 조사에서는 아웃오브밴드 방식에 머물고 있는 고객들이 현재 구매하여 사용 중인 제품을 인라인 밴드 방식으로 운용했을 때 야기되었던 문제점을 다음과 같이 지적했다.

● 안정성/가용성 문제

● 처리속도 저하

● 트래픽 지연율 증가

● 오탐 또는 정상 애플리케이션 트래픽 차단

이러한 우려는 제대로 만들어진 인라인 밴드 방식의 네트워크 보안 장비라면 아웃오브밴드 방식의 장비보다 더 효과적으로 해결할 수 있다. 만약 인라인 밴드 방식 솔루션에 오류가 발생했을 때 티핑포인트 IPS와 같이 네트워크에 지장을 주지 않으면서 자동으로 제거되게끔 설계되지 않았다면 네트워크의 가용성을 보장할 수 없을 것이다.

또한 네트워크 자체의 속도만큼 빠르게 트래픽을 검사하고 전달할 수 있도록 설계되지 않았다면 처리 속도 및 지연 시간에 영향을 미쳐 애플리케이션 성능이 저하될 수도 있다. 그리고 IPS의 필터 정확성이 떨어져 정상 트래픽을 차단하는 경우가 생긴다면 IT 헬프데스크는 순식간에 내부 구성원들의 지원 요청 폭주로 몸살을 앓게 될 것이다.

티핑포인트 IPS처럼 제대로 설계된 IPS 솔루션은 그러한 사용자 불만을 사실상 완전히 해소할 수 있다. 인라인 밴드 방식으로 티핑포인트 IPS를 설치한 사용자의 수만 보더라도 티핑포인트의 사용자들이 경쟁업체의 사용자보다 IPS 솔루션의 주요 문제 해결 능력을 더 신뢰하고 있음을 알 수 있다.

<글 : 박진성 티핑포인트 코리아 이사(jpark@tippingpoint.com)>

[월간 정보보호21c 통권 제105호 (info@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>