AI 보안 취약점

요즘 정보보안 개론 (양대일 지음) 이란 책을 읽고 있다. 책을 읽던 중 가장 흥미를 끈 파트는 바로 AI 보안이었고, 이를 공부하며, 관련 논문도 찾아보고, 동남정보보호센터라는 곳에서 ChatGPT와 보안이슈라는 주제로 특강을 진행한다는 소식을 듣고, 해당 특강을 찾아 듣기도 하였다. ( 수업이 있어 다 듣지는 못하였다.. 마음이 아프다 ) 많이 부족하지만, 그래도 보았던 것을 정리해 보겠다. 

 

과거의 공격은 네트워크 및 시스템의 취약점을 이용한 공격이었다면, AI에 대한 공격은 데이터를 이용한 공격이 많다고 한다.

 

먼저 회피 공격(Evasion Attack)은 인공지능이 잘못된 판단을 하도록, 유도하는 공격이다. 책과 비슷한 예로, 해바라기에 대한 이미지를 넣으면 인공지능은 넣은대로 결과를 답해야 하지만, 이 학습과정에서 데이터에 무작위의 오류가 존재하는 노이즈를 고의적으로 추가하면, 거울이라는 결과를 내놓는 것을 예로 들 수 있다. 

 

위 공격의 예방책으로는 변조 공격을 학습 데이터에 포함시켜, 훈련하는 방법이 있다고 한다. 

 

두번째는 악의적 데이터 주입 공격이다.  이 공격의 예로 AI 챗봇 이루다, AI 챗봇 테이를 떠올릴 수 있다.  악의적인 발언(데이터)을 훈련시켜 정상적인 서비스가 불가능하게 만들었다. 이를  중독 공격(Posoning Attack) 이라 한다. 이 공격은 다른 머신러닝(AI) 공격기법과 다르게 모델 자체를 공격해서 모델에도 영향을 준다. 

 

위 공격의 예방책으로는 부정적인 데이터에 대한 사전학습으로 대응할 수 있다. 긍정적인 데이터를 이용한 학습과 부정적인 데이터 학습을 개별적으로 진행하여, 부정적인 단어들에 대해서 대답을 회피 및 우회, 추가 학습이 불가하도록 설계할 수도 있다. 

 

또 데이터 추출 공격(전도 공격( Inversion Attack))이 있는데, 이는 공격대상 모델의 입력값과 결괏값을 분석해 학습에 사용된 데이터를 추출하는 공격이다.  

 

위 공격에 대한 예방은 질의 횟수를 조정하는 방법이 존재한다.   

 

 

추가적으로 ChatGPT에 관해 얘기도 하고 싶다. 필자는 ChatGPT를 처음 사용했을 때, 이건 정말 완벽하다는 조금 무지한 생각을 가졌던 때도 있었다. 그러나 ChatGPT에서 얻은 결과가 정답만은 아니구나를 인프라 구성 실습을 하며, 몸소 경험하였다. 이번 특강 내용도 그렇고, 그때의 경험을 복기시켜보면, GPT는 관련 있는 문장을 찾고, 돌려줄 뿐이다. 참고하기에 좋지만, 모든 것이 정답은 아니다.. 아무튼 이번 특강 및 공부를 통해 AI 분야에 한발 더 다가선 느낌이다. 지금은 많이 부족하지만, 앞으로도 논문 등 여러 자료를 보며 지식을 쌓아가야겠다. 

 

 

< 공부(참고) 자료 >

 

인공지능 1부 - 최초의 개척자들

 

 

인공지능 2부 - 최초의 거짓말

 

 

머신러닝 보안 취약점! 적대적 공격의 4가지 유형 - LG CNS

 

최신 인공지능 모델, 효율성은 합격…보안 허점은?

 

https://www.itworld.co.kr/news/277645

빙과 ChatGPT, 인종차별로 오염된 챗봇 테이의 전철 밟나?