AI시대, 자동화의 역설

유 신 (KAIST 전산학부 교수)

2009년 6월 1일, 브라질 리오에서 출발해 프랑스 파리로 향하던 에어프랑스 447편 에어버스 330 비행기가 대서양에 추락, 승무원과 승객 228명 전원이 사망하는 사고가 있었다. 에어프랑스 447편은 경로상에 발생한 태풍을 피하기 위해 고도를 급격히 올리다가 양력을 잃는 실속(失速, Stall) 현상을 겪게 되었다. 세 명의 조종사가 조종석에 있었음에도 불구하고 에어프랑스 447편은 이를 극복하지 못하고 고도를 잃어 결국 추락하고 말았다.

첨단 전자 제어 시스템 (fly-by-wire)을 갖추고 그 때까지 매우 우수한 안전 운행 기록을 보유했던 에어버스 330 기종이 추락한 이유는 무엇이었을까? 우선 사건의 복합적인 배경을 이해해야 한다. 첫째, 세 명의 조종사가 있었지만 한 명은 비교적 신입이어서 경험이 부족했고, 다른 한 명은 브라질에서 휴가를 보낸 뒤 돌아오는 길이어서 피곤했고, 나머지 한 명은 최근에 관리직으로 승진하여 예전에 비해 비행을 자주 하지 않는 상태였다. 둘째, 태풍을 피하기 위해 신입 조종사가 고도를 급히 올린 결과 일부 센서가 얼어서 작동하지 않게 되었다. 셋째, 센서가 얼어붙은 결과 전자 제어 시스템이 더 많은 조종 권한을 수동으로 넘기는 모드로 전환하였다.

하지만 가장 치명적인 이유는 전자 제어 시스템의 자동 제어 보조 기능에 대한 오해였다. 일반적으로 비행기가 실속을 겪은 것은 고도를 너무 급히 높이려고 하다가 속도가 줄어들어 양력을 잃기 때문이다. 따라서 실속 상태를 벗어나는 교과서적인 대응 방법은 역설적으로 기수를 아래로 숙여서 우선 속도를 높이고, 높은 속도를 바탕으로 양력을 회복하는 것이었다. 그런데 에어프랑스 447편의 조종사들은 실속 경고등이 점등된 것을 전자 제어 시스템이 실속에서 자동으로 대처하는 줄 착각하고 계속해서 고도를 높이려고 했다. 그 결과 실속 상태가 전자 제어 시스템의 판단 범위를 넘어서자, 실속 경고등이 꺼지게 되었고, 조종사들이 기수를 낮추자 센서의 판단 범위 안으로 다시 비행기가 돌아왔기 때문에 실속 경고등이 다시 켜지는 일이 일어났다. 이는 조종사들을 완전히 혼란에 빠뜨렸고, 결국 조종사들이 상황을 이해하고 기수를 낮췄을 때에는 오랜 실속으로 인해 이미 고도가 너무 낮아진 뒤였다. 결국, 에어프랑스 447편은 충분한 속도와 양력을 회복하지 못한 채 추락하고 말았다.

AI 시대에 대한 이야기를 하면서 일견 관계가 없어 보이는 비행기 추락 사고를 길게 묘사한 것은 무슨 이유인가? 에어프랑스 447 추락 사고는 비행기와 같이 매우 복잡한 시스템을 사람이 관여하지 않아도 될  정도로 완전히 자동화했을 경우에 벌어질 수 있는 사고에 대해 심각한 시사점을 보여주고 있다. 조종사들이 빠르게 상황 파악을 하지 못한 것은 평소에 유사한 회피 기동을 경험할 만한 기회가 거의 없을 정도로 자동화된 항법 시스템에 익숙해져 있었기 때문이다. 인간의 빠른 개입과 판단력이 가장 필요한 상황이 됐을 때, 인간은 역설적으로 가장 준비가 되어 있지 않았던 것이다. 이른바 자동화의 역설이다. 이는 AI와 이에 기반한 자동화가 우리에게 어떤 영향을 미칠까 하는 문제를 고려함에 있어 매우 새로운 관점을 제시한다.

현재 AI 기반 자동화에 대한 논의는 주로 결과물의 정확도, 그리고 생산성 향상의 정도에 초점이 맞춰져 있다. 전산학 연구자의 입장에서 주로 관심이 가는 것은 결과물의 정확도일 것이고, 경제적인 관심은 이를 바탕으로 얼마나 편의성과 생산성을 향상시킬 수 있을까 하는 점일 것이다. 지금도 관련 기술이 엄청난 속도로 발전하고 있지만, 그 근본적인 한계와 작금의 기술 성능을 모두 고려할 때 “정확도가 100%는 아니지만 그럼에도 불구하고 생산성과 사용자 편의성에 상당한 파급 효과를 가질만큼 자동화 가능한 업무가 많다”라고 현재 상태를 요약해도 크게 틀리지 않을 것이다. 자동화의 역설은 이러한 배경 위에 사회 전체가 고민해야 하는 안전의 문제가 존재한다는 사실을 가리키고 있다. 99%의 경우에는 정확한 AI기술 기반의 자동화 시스템을 사회 곳곳에 도입하여 생산성과 편의성을 높였다고 하자. 하지만, 인간의 판단이 절실하게 필요한 1%의 상황이 벌어졌을 때, 우리는 개입해서 올바른 판단을 할 준비가 되어 있을 것인가?

자동화의 역설은 AI 기반 자동화 시스템을 설계할 때 단순히 AI의 정확도나 계산 효율을 넘어선, 고도로 다차원적인 요구사항을 분석 및 고려해야 함을 알려준다. 자율 주행 시스템을 예로 들어보자. 시험 주행에서 자율 주행 차량이 사고 없이 주행할 수 있는지 (정확도), 그리고 실시간으로 다양한 센서 입력을 모두 분석할 수 있는지는 (효율) 모두 중요한 기본적인 사항이다. 하지만 자율 주행 기능이 잘 작동하면 할수록 운전자는 자동화의 역설에 직면한다. 자율 주행 기능은 99%의 도로 상황에서 아무 무리 없이 작동할 것이고, 그 동안 운전자는 도로를 주시할 필요도 없이 옆 사람과 대화를 나누거나, 무언가를 먹어도 된다고 생각하게 될 것이다. 하지만 나머지 1%의 매우 드문 도로 상황에서 자율 주행 기능이 정확한 판단을 할 수 없다고 스스로 판정한 뒤 인간에서 운전대를 넘길 경우, 과연 무슨 일이 벌어질까? 운전자는 그간 별로 주의를 기울이지 않아도 된다는 점을 “학습”했을 것이며, 따라서 가장 중요한 순간에 준비가 되어 있지 않을 확률이 높을 것이다. 결국 시스템 전반의 안전을 고려한 설계는 단순히 자율 주행의 정확도나 효율뿐 아니라 운전자와 자율 주행 기능 사이에 어떤 종류의 신뢰가 쌓이는지, 이러한 신뢰를 어느 정도 적정 수준에 유지하면서 동시에 운전자의 주의력을 확보할 것인지 등의 문제를 함께 고려해야 한다는 결론에 이른다.

위와 같은 논리는 AI 기술과 프로그래밍 교육 사이의 관계에도 적용해볼 수 있다. 기초적인 프로그래밍 교육 과정에서 종종 요구되는 프로그래밍 실습 과제 등을 대규모 언어 모델(LLM)들이 쉽게 풀 수 있다는 사실이 알려지면서, 프로그래밍 교육의 미래는 어떤 모습이어야 하는가에 대한 논의가 활발하게 진행되고 있다. 하지만 지금까지 대부분의 논의는 AI가 과제를 대신 해 주는 경우를 어떻게 처리할 것인가에 집중되어 있다. 예를 들어 개인적으로 하는 프로그래밍 과제는 거의 의미가 없으므로 평가에서 비중을 줄이고, 실시간으로 진행하는 실습의 비중을 늘리는 식의 새로운 평가 방식이 필요하다는 것이다. 프로그래밍이라는 업무에 있어 자동화의 역설이 어떤 의미인지 생각해보면, 이러한 위험을 인지하고 여기에 대비하는 방법을 교육하는 것 또한 중요한 목표라는 결론을 얻을 수 있다. 만약 AI 자동 완성으로 작성한 코드가 모두 올바른 코드였다면, 정확도가 높으므로 아무런 문제가 없는 것일까? 이 경우 진정한 위험은 자동 완성의 정확도보다 오히려 자동 완성된 코드를 받아들이는 인지 비용이 점점 더 낮아지고 (“지금까지 모두 맞았으니까 이번에도 문제없겠지?”), 자동 완성된 코드를 반사적으로 그냥 받아들이는 행동이 습관이 되고 만다는 점이다.

AI가 상당한 수준의 문제 해결 능력을 갖췄을 경우, 자동화의 역설에 빠지지 않으면서도 그 능력을 적절하게 활용하는 방법은 무엇일까? AI가 인간을 대체할 가능성을 논할 수준에 이른 것이 최근의 일이기 때문에, 어떤 면에서 우리는 어떻게 AI를 활용할 것인가의 문제를 진지하게 고민해보지 못했다. 혹은 자동화의 역설을 고려하지 못한 채, 모든 것을 AI에 맡기는 가장 간단한 활용 형태로 모든 것이 충분할 것이라고 생각한 것일 수도 있다. 특정 도메인에서 AI와 인간의 문제 해결 능력이 거의 비슷한 수준에 이르렀다고 가정할 때, 인간과 AI간 협업의 형태가 구체적으로 어떤 모습이어야 하는지는 앞으로 많은 연구가 필요한 부분이다. 매우 다양한 디자인이 가능하겠지만, 두 가지의 양 극단을 쉽게 상상해볼 수 있다. 극단적인 디자인의 한쪽 끝에는 AI가 모든 문제를 해결하고 사람은 그 결과를 감독하며, 문제가 발생할 때에만 개입하는 모델이 있다. 또 다른 반대 쪽에는 사람이 모든 문제를 해결하고 AI가 그 결과를 감독하는 모델이 있다. 전자의 경우 자동화의 역설을 해결하지 못하는 반면, 후자의 경우 사람이 자동화로부터 얻는 이익이 별로 없게 된다. 저명한 경제 저널리스트인 팀 하포드는 전자의 모델을 따르되, 아무 문제가 없는 경우에도 AI가 임의로 소규모의 문제를 일부러 일으켜서 사람의 주의력과 문제 해결 능력을 확보해야 한다는 재미있는 주장을 하기도 한다.

자동화의 역설을 무시한 AI 기반 기술의 도입은 어떤 면에서 단기적인 생산성 향상에 집중한 나머지 장기적인 인간 행동의 변화와 이에 따른 위험을 무시하는 결정이라고 할 수 있다. 장기적으로 인류가 AI 기반 기술을 효과적으로, 그리고 안전하게 사용하기 위해서는 상시적인 자동화가 인간 행동과 사회 전반에 미치는 영향을 포괄적으로 고려하는 것이 필수적이다. 이를 위해서 전산학 전 분야에 걸친 전문성은 물론 다양한 학제간 연구가 필요한 것은 말할 나위가 없다.