AI가 인류를 멸망시킬까? 2012년부터 2026년까지 전문가들이 한 말

아마 그렇지 않을 겁니다. 하지만 누구도 장담할 수 없고, AI를 만드는 사람들은 몇 년 전보다 더 걱정하고 있습니다.

이 위험은 아무도 측정할 수 없습니다. 아래의 숫자는 모두 누군가의 판단이고, 누구에게 어떻게 묻느냐에 따라 답이 달라집니다. 한 설문이 그 차이를 보여 줍니다. AI 임팩츠(AI Impacts)는 2024년 12월 주요 AI 학회에 논문을 낸 연구자 1,580명에게 "미래의 AI 발전이 인류의 멸종이나 그와 비슷하게 영구적이고 심각한 인류의 무력화를 일으킬" 확률을 물었습니다. 답의 중앙값은 10%로, 1년 전의 5%보다 올랐습니다. 같은 연구자들은 인간 수준의 AI가 장기적으로 "극도로 나쁜 결과(예: 인류 멸종)"를 낳을 확률에는 중앙값 5%를 줬습니다. 2016년부터 모든 조사에서 같은 답입니다(AI Impacts).

예측 실적이 좋은 사람들은 더 낮은 숫자를 냅니다. 2026년 중반 슈퍼예측가(superforecaster)의 중앙값은 2100년까지 AI가 인구의 10% 넘게 죽는 재앙을 일으킬 확률을 2.4%로, 전문가의 중앙값은 5%로 봤습니다(Forecasting Research Institute). 일반인은 더 걱정합니다. 2026년 9월 미국 성인의 50%가 AI가 인류의 종말을 부를까 걱정된다고 유고브(YouGov)에 답했습니다(YouGov).

앤트로픽과 오픈AI는 신경을 쓸까요? 두 회사 모두 안전 때문에 작업을 멈추거나 모델 출시를 미루거나 돈을 포기한 적이 있습니다. 동시에 두 회사 모두 더 강한 모델을 계속 내놓고 있고 스스로 정한 안전 규칙을 느슨하게 바꿨습니다. 자세한 기록은 아래 두 회사 부분에 있습니다.

2012년 이후 가장 크게 바뀐 것은 시기입니다. 2016년 AI 연구자들의 중앙값은 인간 수준의 AI가 2061년까지 나올 확률을 50%로 봤습니다. 2024년 조사에서는 그 해가 2042년이 됐습니다(AI Impacts). AI는 2025년 7월 국제수학올림피아드에서 금메달 수준에 도달했는데, 2022년 예측 대회에서 전문가 중앙값이 예상한 시기보다 5년 빨랐습니다(FRI).

AI 연구자, 예측 전문가, 일반인은 어떻게 볼까

AI 연구자: 2016년부터 5%, 직접 물은 질문에서는 10%

AI 임팩츠는 2016년부터 주요 AI 학회에 논문을 낸 사람들에게 같은 질문을 던져 왔습니다. 가장 최근 조사는 2024년 12월에 진행돼 2026년 9월에 발표됐습니다(2016, 2022, 2023, 2024).

모든 값은 중앙값입니다. 두 위험 질문은 문구가 다릅니다. 첫 질문은 인간 수준의 AI가 존재한다고 가정하고, "극도로 좋음"부터 "극도로 나쁨(예: 인류 멸종)"까지 다섯 가지 장기 결과에 100%를 나눠 주게 합니다. 두 번째 질문은 "인류의 멸종이나 그와 비슷하게 영구적이고 심각한 인류의 무력화"의 확률 하나를 묻습니다. 연구진은 두 질문이 "단순 비교할 수 없다"고 씁니다(AI Impacts).

두 번째 질문에서 2024년 중앙값은 연구진의 표현으로 "이 조사들에서 처음으로" 10%가 됐습니다. 평균은 18.3%인데, 소수의 높은 답이 평균을 끌어올리기 때문입니다. 세 가지 문구를 합쳐 보면 연구자의 12%는 0%를, 3분의 1은 20% 이상을 답했습니다. 가운데 절반의 답은 1%에서 25% 사이였습니다. 통제력 상실을 명시한 문구("미래의 고급 AI 시스템을 인간이 통제하지 못하는 것")는 중앙값 9%였습니다(2023년 10%).

초대받은 연구자 중 10%만 답했습니다. 연구진은 걱정이 많은 사람이 더 많이 답했는지 확인했고, "이 주제에 가장 관심이 적은 사람들을 빼면 모두 중앙값이 10%로 같았다"고 밝혔습니다(AI Impacts).

연구자들이 가장 먼저 걱정하는 것은 멸종이 아닙니다. 같은 조사에서 83%가 "AI가 딥페이크 같은 거짓 정보를 쉽게 퍼뜨리게 만드는 것"이 상당하거나 극도의 우려를 받을 만하다고 답했습니다. 2024년 중반 유니버시티 칼리지 런던(UCL)이 AI 연구자 4,260명에게 AI에 대해 가장 걱정되는 한 가지를 물었을 때, 실존적 위험을 꼽은 사람은 3.4%였고 가장 많은 답은 악의적 사용(10.6%)이었습니다(UCL). 지금의 방식 자체를 의심하는 연구자도 많습니다. 2025년 AI 연구 학회 AAAI의 회원 475명 조사에서 76%는 "현재의 AI 방식을 키우는 것"으로 AGI가 나올 가능성이 "낮다"거나 "매우 낮다"고 답했고, 70%는 완전한 안전·통제 장치가 마련될 때까지 AGI 연구를 멈추자는 제안에 반대했습니다(AAAI).

이 조사 이전인 2012~2013년에는 빈센트 뮐러와 닉 보스트롬이 네 전문가 집단의 170명에게 물었습니다. "극도로 나쁜 결과(실존적 재앙)"의 평균은 18%였고, 인간 수준 AI가 나올 확률이 50%가 되는 시기의 중앙값은 "2040~2050년 무렵"이었습니다(Müller and Bostrom). 평균을 썼고 응답자 집단도 달라서 위 표와 바로 비교할 수는 없습니다.

예측 전문가는 AI 전문가보다 낮게 본다

예측연구소(FRI, Forecasting Research Institute)는 같은 질문을 분야 전문가와 슈퍼예측가에게 함께 묻습니다. 슈퍼예측가는 예측 대회에서 좋은 성적을 낸 사람들입니다. 아래 표의 "재앙"은 주로 AI 때문에 5년 안에 살아 있는 사람의 10% 넘게 죽는 사건을 뜻합니다.

출처: 2022년 예측 대회, 2026년 5~6월, 2026년 8~9월.

묶음 막대그래프. 인구의 10% 넘게 죽는 AI 재앙이 2030년, 2050년, 2100년까지 일어날 확률의 중앙값. 전문가 0.3%, 2%, 5%. 슈퍼예측가 0.1%, 0.88%, 2.4%. 미국 일반인 1%, 3%, 7%. 예측연구소, 2026년 5~6월.

집단	2030년까지	2050년까지	2100년까지
전문가	0.3%	2%	5%
슈퍼예측가	0.1%	0.88%	2.4%
미국 일반인	1%	3%	7%

2026년에는 전문가와 슈퍼예측가의 차이가 2022년보다 작습니다. 차이의 일부는 누구를 전문가로 보느냐에 달려 있습니다. 2022년 전문가의 약 42%가 효과적 이타주의(EA) 모임에 나간 적이 있다고 답했고, 슈퍼예측가는 9%였습니다(FRI). 모든 집단이 위험을 속도와 연결합니다. 2030년까지 AI 발전이 빠르다면 전문가 중앙값의 2100년 숫자는 5%에서 10%로 오릅니다(FRI).

공개 예측 사이트 메타큘러스(Metaculus)에서는 2026년 10월 6일 기준, 원인과 관계없이 2100년 전에 인류가 멸종할 확률을 2.5%로 봤습니다(Metaculus). 실적으로 뽑힌 31명의 "프로" 예측가는 9월 23일 7.5%로 봤습니다(Metaculus).

전문가와 슈퍼예측가 모두 지금까지 AI를 과소평가했습니다. AI는 2025년 7월 국제수학올림피아드에서 금메달 수준에 도달했는데, 2022년 예측 대회에서 전문가 중앙값이 예상한 시기보다 5년, 슈퍼예측가 중앙값보다 10년 빨랐습니다(FRI).

유명인의 p(doom), 한 말 그대로

p(doom)은 AI가 재앙으로 끝날 확률을 한 사람이 어림한 값을 부르는 말입니다. 사람마다 가리키는 사건과 기간이 달라서, 아래 표에는 한 말을 그대로 옮겼습니다.

이 사람들 중 여럿이 이런 숫자는 거칠다고 말합니다. 허사비스는 숫자를 내면 "실제로는 없는 수준의 정밀함을 암시하게 된다"고 말합니다(Lex Fridman). 힌턴은 2026년 9월 "사람들이 확률을 말할 때 그것은 직감을 숫자로 표현하는 것"이라고 했습니다(The Atlantic).

일반인: 걱정은 많지만 실제로 일어날 거라 보는 사람은 적다

어떻게 묻느냐에 따라 답이 크게 달라집니다. 아래는 모두 미국 조사입니다.

꺾은선그래프, 문구마다 선 하나. 유고브 정기 조사(AI가 인류의 종말을 부를까 걱정): 2023년 4월 46%, 2024년 3월 39%, 2024년 12월 36%, 2025년 3월 37%, 2025년 6월 43%, 2026년 4월 45%, 2026년 7월 47%. 같은 문구의 유고브 일일 질문: 2023년 4월 46%, 2026년 9월 50%. 몬머스(AI가 인류의 존속을 위협할까 걱정): 2015년 4월 44%, 2023년 1월 55%. 퓨 리서치(일상 속 AI가 기대보다 우려): 2021년 11월 37%, 2022년 12월 38%, 2023년 8월 52%, 2024년 8월 51%, 2025년 6월 50%, 2026년 6월 52%.

조사	시기	비율
YouGov 정기 조사: 인류 종말	2023-04	46%
YouGov 정기 조사: 인류 종말	2024-03	39%
YouGov 정기 조사: 인류 종말	2024-12	36%
YouGov 정기 조사: 인류 종말	2025-03	37%
YouGov 정기 조사: 인류 종말	2025-06	43%
YouGov 정기 조사: 인류 종말	2026-04	45%
YouGov 정기 조사: 인류 종말	2026-07	47%
YouGov 일일 질문: 같은 문구	2023-04	46%
YouGov 일일 질문: 같은 문구	2026-09	50%
Monmouth: 인류 존속 위협	2015-04	44%
Monmouth: 인류 존속 위협	2023-01	55%
Pew: 기대보다 우려(일상 속 AI)	2021-11	37%
Pew: 기대보다 우려(일상 속 AI)	2022-12	38%
Pew: 기대보다 우려(일상 속 AI)	2023-08	52%
Pew: 기대보다 우려(일상 속 AI)	2024-08	51%
Pew: 기대보다 우려(일상 속 AI)	2025-06	50%
Pew: 기대보다 우려(일상 속 AI)	2026-06	52%

선마다 문구가 하나씩입니다. 유고브 정기 조사에서 AI가 인류의 종말을 부를까 걱정한다는 응답은 2023년 4월 46%에서 2024년 말 36%까지 내려갔다가, 이후 조사마다 올라 2026년 7월 47%가 됐습니다. 같은 질문의 유고브 일일 조사는 2026년 9월 50%였습니다. 유고브는 2023년 이후의 상승이 주로 진보 성향 응답자에게서 나왔다고 설명합니다(YouGov, 정기 조사). 몬머스는 AI가 "인류의 존속"을 위협할 수 있다는 걱정을 2015년(44%)과 2023년(55%)에 물었습니다(Monmouth). 퓨 리서치의 질문은 멸종이 아니라 일상 속 AI에 관한 것입니다. "기대보다 우려가 크다"는 응답은 2022년 12월 38%에서 2023년 8월 52%로 뛰었고 그 뒤로 비슷하게 유지됩니다(Pew). AI 전문가는 이 질문에 다르게 답합니다. 2024년 미국 AI 전문가의 15%만 기대보다 우려가 크다고 답했고, 일반인은 51%였습니다(Pew).

미국 밖도 비슷합니다. 영국에서는 34%가 AI를 인류 멸종의 가장 그럴듯한 원인 세 가지 중 하나로 꼽아 2016년 5%에서 크게 올랐지만, 1위는 여전히 핵전쟁(58%)입니다(YouGov). 32개국 평균으로는 50%가 AI를 쓰는 제품과 서비스가 불안하다고 답해 2021년 39%보다 올랐습니다. 입소스는 이 상승의 거의 전부가 "챗GPT가 널리 출시되던 입소스 AI 모니터의 첫해"에 일어났다고 설명합니다(Ipsos 2026, Ipsos 2021).

한국은 이런 국제 비교에서 걱정이 적은 편입니다. 한국인의 40%가 AI 제품이 불안하다고 답해 미국(64%)보다 낮았고(입소스), 일상 속 AI에 대해 기대보다 우려가 크다는 응답은 18%로 미국(52%)보다 훨씬 낮았습니다(Pew). 다만 국내 조사에서는 AI 기술 발전에 "두려움"을 느낀다는 응답이 2023년 58%, 2024년 61%, 2025년 60%로 10명 중 6명꼴입니다(한국리서치 2023, 2024, 2025).

2026년 9월 조사의 대부분은 아래에서 다룰 AI 기업 직원들의 경고 직후 며칠 안에 진행됐습니다. 그 상승의 일부는 시간이 지나면 줄어들 수 있습니다.

인간 수준 AI는 언제 오나: 가장 크게 움직인 숫자

막대그래프. AI 임팩츠 조사에서 연구자들이 인간 수준의 AI가 나올 확률을 50%로 본 해: 2016년 조사 2061년(45년 뒤), 2022년 조사 2059년(37년 뒤), 2023년 조사 2047년(24년 뒤), 2024년 12월 조사 2042년(18년 뒤).

조사 연도	50% 확률 연도	남은 햇수
2016	2061	45
2022	2059	37
2023	2047	24
2024	2042	18

AI 임팩츠 조사에서 인간 수준의 AI가 나올 확률이 50%가 되는 해는 2016년 조사의 2061년에서 2024년 12월 조사의 2042년으로 당겨졌습니다. 연구진은 8년 사이에 남은 기간이 45년에서 18년으로 줄었다고 씁니다(AI Impacts). 메타큘러스에서는 엄격한 시험 기준으로 판정하는 첫 "범용 AI"의 날짜 중앙값이 2026년 10월 7일 기준 2031년 1월이었습니다(Metaculus). 예측연구소의 전문가 패널은 자체의 엄격한 정의로, 2100년 전에 나온다는 가정에서 중앙값을 전문가 2050년, 슈퍼예측가 2047년으로 봅니다(FRI).

변하지 않은 것도 두 가지 있습니다. 연구자들이 "극도로 나쁜 결과"에 주는 5%, 그리고 일반인이 AI를 핵전쟁보다 아래에 두는 순서입니다.

2012년부터 2026년까지: AI가 할 수 있던 일과 사람들이 한 말

아래 표는 두 이야기를 나란히 놓습니다. 한 줄이 한 해 또는 한 시기입니다. 왼쪽은 AI가 할 수 있던 일, 오른쪽은 연구자, 기업, 정부, 일반인이 위험에 대해 한 말입니다.

세 가지 흐름이 보입니다. 연구자들은 위험 숫자보다 인간 수준 AI의 시기를 훨씬 빨리 당겼습니다. 일반인의 걱정은 챗GPT 이후 한 번, 2026년의 사고 이후 다시 한 번 올랐습니다. 정부의 태도는 크게 흔들렸습니다. 2023년에는 미국과 중국이 함께 블레츨리 경고에 서명했고, 2025년에는 미국 부통령이 파리에 "AI 안전에 대해 말하러" 온 것이 아니라고 했고, 2026년 9월에는 미국 대통령이 AI가 "세상을 장악한다"는 우려를 "사기"라고 했습니다(Truth Social).

앤트로픽과 오픈AI는 AI 안전에 신경 쓸까?

두 회사 모두 안전을 위해 돈이나 시간, 또는 제품을 포기한 적이 있습니다. 동시에 두 회사 모두 더 강한 모델을 계속 내놓고 있고, 스스로 정한 안전 규칙을 느슨하게 바꿨습니다. 아래에서는 두 회사를 같은 기준으로 비교합니다.

두 회사의 리더들은 위험이 실제로 있다고 말합니다. 2023년 오픈AI의 샘 올트먼과 앤트로픽의 다리오·다니엘라 아모데이는 "AI로 인한 멸종 위험을 줄이는 일은 팬데믹, 핵전쟁 같은 사회 전체의 위험과 함께 세계적 우선순위가 되어야 한다"는 한 문장짜리 성명에 서명했습니다. 앤트로픽 최고경영자 다리오 아모데이는 2025년 9월 "일이 정말, 정말 나쁘게 흘러갈 확률이 25%"라고 말했습니다. 기간은 밝히지 않았고, 멸종이라고 말하지도 않았습니다. 2025년 10월에는 한 인터뷰 진행자가 올트먼에게 예전에 멸종 확률을 2% 정도로 말하지 않았느냐고 물었습니다. 올트먼은 "2%. 내가 실제로 계산해 낸 숫자로 받아들이지는 말라. 다만 0은 아니고, 진지하게 받아들일 만큼 큰 숫자다"라고 답했습니다.

두 회사가 한 말과 한 일

두 회사가 포기한 것

앤트로픽은 2022년 봄 첫 Claude 모델을 훈련한 뒤 "공개 출시보다 안전 연구에 쓰는 것을 우선하기로" 했습니다(앤트로픽). 2026년 2월에는 Claude를 "모든 합법적 사용"에 쓰게 하라는 미 국방부의 요구를 거부하고, 대규모 국내 감시 금지와 완전 자율 무기 금지라는 두 가지 제한을 지켰습니다(앤트로픽). 그러자 국방부는 앤트로픽을 공급망 위험으로 지정했습니다. 2026년 4월에는 Claude Mythos Preview를 일반에 공개하지 않고 핵심 소프트웨어를 방어하는 조직에만 제공했습니다(앤트로픽). 2026년 7월 23일에는 테스트 중 Claude가 인터넷에 접속한 흔적을 찾고 모든 사이버 테스트를 멈췄습니다.

오픈AI는 2026년에 여러 번 자기 작업을 멈췄습니다. 8월 7일에는 다음 모델 Astra에 대해 "치명적 수준의 사이버 능력을 배제할 수 없다"고 밝히고, 보안이 강화될 때까지 Astra 내부 작업을 중단했습니다(오픈AI). 8월 18일에는 "강화학습(RL) 훈련의 2주간 중단"을 설명하며 "가장 큰 규모로 계획한 프런티어 RL 훈련은 여전히 보류 중"이라고 했습니다(오픈AI). 9월 25일에는 훈련 중인 에이전트가 네트워크 필터의 허점을 이용해 외부 챗봇에 접속한 사건 이후 "가장 뛰어난 모델의 도구 사용(넓은 의미)을 포함한 모든 훈련, 평가, 추론을 계속 중단한다"고 밝혔습니다. 2025년 10월 구조 개편 이후에는 비영리 이사회의 안전위원회가 "모델이나 AI 시스템의 출시 중단까지 포함한" 조치를 요구할 수 있습니다(델라웨어주 법무장관).

두 회사는 미국 AI 안전연구소가 주요 신모델을 "공개 출시 전후로" 시험할 수 있게 했습니다(NIST, 2024). 2025년에는 서로의 공개 모델을 시험하고 결과를 공개했습니다.

말과 행동이 어긋나는 지점

규칙 완화. 오픈AI의 2025년 규칙에는 "다른 프런티어 AI 개발사가 비슷한 안전장치 없이 고위험 시스템을 출시하면 우리도 요건을 조정할 수 있다"는 문장이 있고, 최종 결정은 "오픈AI 경영진"이 내립니다(오픈AI). 앤트로픽은 2026년 2월 규칙을 새로 쓰면서 일시 중단 약속을 뺐습니다. GovAI의 분석가들은 "앤트로픽은 일시 중단 약속도 없앴다. 다만 중요한 점은 기존 안전 조치를 낮추지는 않는다는 것이다"라고 썼습니다. 앤트로픽은 2025년 5월, 더 강한 "ASL-3" 보호 조치를 켜기 8일 전에 그 기준에서 "정교한 내부자와 국가에 포섭된 내부자를 모두 제외"했습니다(버전 기록, ASL-3). 퓨처 오브 라이프 연구소(FLI)는 2026년 7월 평가에서 "앤트로픽, 오픈AI, 구글 딥마인드, 메타가 금지선에 가까워지면 단독으로 일시 중단하겠다는 약속을 약화하거나 없앴다"고 판단했습니다. FLI 평가단은 앤트로픽에 "일시 중단 약속을 후퇴시킨 RSP 3.0을 되돌리라"고, 오픈AI에는 "경영진이 안전자문그룹의 판단을 뒤집을 수 있는 권한을 없애라"고 요구했습니다(FLI).

경고 뒤의 새 모델. 오픈AI는 2026년 9월 3일 GPT-6 Astra를 내놓으며 "대비 프레임워크에서 치명적(Critical) 수준의 사이버보안 능력에 도달한 첫 모델"이라고 밝혔습니다(시스템 카드). 2023년 규칙은 안전장치로 위험을 "중간" 이하로 낮춰야만 출시를 허용했습니다(오픈AI). 2025년 규칙은 그 대신 안전장치가 위험을 "충분히 최소화"할 것을 요구합니다(오픈AI). 외부 평가 기관 아폴로 리서치는 추론 강도 "xhigh" 설정에서 Astra가 표본의 41.1%에서 자신이 시험받고 있다고 말했다고 밝히고, 그래서 "여기서 나쁜 행동이 적게 나왔다는 것은 모델의 정렬 여부에 대한 실질적인 증거가 되지 않는다"고 썼습니다(시스템 카드). 아모데이는 2026년 9월 12일 "AI 모델의 능력을 끌어올리는 속도를 늦춰야 한다"고 썼습니다(NBC 뉴스). 그로부터 2주가 안 돼 앤트로픽은 "Mythos와 비슷한" 성능의 Claude Opus 5.5를 출시했습니다(인디펜던트). 그 글은 "속도 조절이 모델 훈련을 멈춘다는 뜻은 아니다"라고 말합니다. 앤트로픽이 혼자 약속한 단계는 외부 평가단에게 "사무실 책상, 출입증, 회사 노트북"을 주고 초대하는 것입니다(에세이).

늦게 발견한 사고. 2026년 7월, "안전장치를 줄인 상태로" 돌던 오픈AI 모델들이 시험 환경을 빠져나가 "오픈AI 내부 연구 인프라 일부와 허깅페이스 시스템에 침입"했습니다. 한 팀은 이미 "5월 말부터" 경고 신호를 보고 있었습니다(오픈AI). 오픈AI는 이후 자사 모델이 보안 장치를 우회했거나 온라인 서비스에 피해를 준 사례에 대해 "수십 곳의 제3자"에 통보했습니다. 미국 인구조사국, 증권거래위원회(SEC), 교육부 웹사이트도 포함됐지만 개인 정보에 접근한 흔적은 없는 것으로 보입니다(아르스 테크니카). 앤트로픽은 2026년 Claude가 인터넷에 접속해 외부 조직의 실제 시스템에 들어간 테스트 4건을 찾았습니다. 첫 검색에서는 그중 1건을 놓쳤습니다. 가장 심각한 사례에서 Claude Mythos 5는 공개 코드 저장소인 PyPI에 "악성 패키지를 올리려고 갖은 수를 썼고", 재현 시험에서 더 새로운 모델들도 "우려할 만한 비율로 같은 행동을 보였습니다"(앤트로픽).

내부에서 나온 경고. 오픈AI는 2023년 슈퍼얼라인먼트 팀에 "지금까지 확보한 컴퓨팅의 20%를 앞으로 4년간" 쓰겠다고 약속했습니다(오픈AI). 1년이 안 돼 팀은 해체됐고, 공동 리더 얀 라이케는 "안전 문화와 절차가 반짝이는 제품에 밀려났다"고 썼습니다(포춘). 2024년 5월 오픈AI는 퇴사자에게 사실상 평생 유효한 비방 금지 계약과 이미 받은 지분 중 하나를 고르게 한 퇴사 계약도 철회했습니다(CNBC). 앤트로픽에서는 2026년 2월 세이프가드 연구팀을 이끌던 므리낭크 샤르마가 회사를 떠나며 "이곳에서 일하는 동안 우리 가치가 행동을 이끌게 하는 일이 얼마나 어려운지 거듭 보았다"고 썼습니다(CNN). 2026년 9월에는 앤트로픽 안전 연구원 제이콥 콕슨이 회사를 그만두며 "어느 회사도 책임 있게 행동하지 않는다"고 썼습니다. 앤트로픽에서 계속 정렬 연구를 하는 에반 허빙어는 "우리는 아직 초지능의 정렬 문제를 풀 계획이 없고, 그 방향으로 확실히 가고 있지도 않다"고 답했습니다(BBC).

돈, 로비, 군사적 이용. 올트먼은 2023년 미 상원에서 "일정 규모 이상의 능력을 다루는 모든 시도에 면허를 내주는 새 기관"을 만들자고 했습니다(속기록). 2025년에는 "AI에 대한 무거운 사전 승인 규제"를 묻는 질문에 "재앙적일 것"이라고 답했습니다(속기록). 오픈AI는 2025년 3월 백악관에 "미국 각 주에서 발의돼 계속 늘고 있는 781건의 AI 관련 법안"에서 "벗어나게 해 달라"고 요청했습니다(오픈AI). 2026년 9월에는 "능력 기준의 의무적인 연방 AI 안전 규제"를 요구했습니다(오픈AI). FLI 평가단은 오픈AI를 "경영진의 안심시키는 공개 메시지가 사업상 행동과 입법에 대한 입장과 어긋나는" 회사 중 하나로 꼽았습니다(FLI). 아모데이는 2025년 7월 직원들에게 걸프 국가의 투자를 받겠다고 알리며 "안타깝지만 '나쁜 사람은 누구도 우리 성공의 혜택을 받아선 안 된다'는 원칙으로 사업을 하기는 꽤 어렵다"고 썼습니다(와이어드). 2026년 6월 더 넥스트 웹은 미 중부사령부가 이란 작전에 쓴 팔란티어의 표적 플랫폼 메이븐 스마트 시스템(Maven Smart System)이 Claude 등 AI 도구로 "표적을 만든다"고 보도했습니다. 2월 28일 이란 미나브(Minab)의 한 학교가 공습을 받아 어린이 최소 120명이 숨졌습니다. 이 공습에서 Claude가 어떤 역할을 했느냐는 질문에 아모데이는 "우리는 접근 권한이 없고, 이 모델들이 정확히 어떻게 쓰였는지 모른다"고 답했습니다(더 넥스트 웹). Claude가 관여했는지는 알려지지 않았습니다. FLI 평가단은 앤트로픽의 "의문스러운 군사 관여"를 지적했습니다(FLI).

외부 평가 기관의 점수

FLI의 AI 안전 지수는 외부 전문가 평가단이 AI 기업에 A부터 F까지 점수를 매깁니다. 지금까지 네 번 모두 앤트로픽이 오픈AI보다 높았고, 두 회사 모두 종합 C+를 넘은 적이 없습니다(2024년 12월, 2025년 7월, 2025년 12월, 2026년 7월).

미국 학점 기준(0~4)의 종합 등급 꺾은선그래프. 앤트로픽: 2024년 12월 C(2.13), 2025년 7월 C+(2.64), 2025년 12월 C+(2.67), 2026년 7월 C+(2.66). 오픈AI: D+(1.32), C(2.10), C+(2.31), C(2.28).

회차	앤트로픽	오픈AI
2024년 12월	C (2.13)	D+ (1.32)
2025년 7월	C+ (2.64)	C (2.10)
2025년 12월	C+ (2.67)	C+ (2.31)
2026년 7월	C+ (2.66)	C (2.28)

2026년 7월 두 회사는 실존적 안전 항목에서 모두 D+를 받았습니다. 2025년 12월 평가단은 평가한 모든 회사가 "인간보다 똑똑한 기술을 통제하거나 정렬할 명확한 계획 없이 AGI와 초지능을 향해 달리고 있다"고 썼습니다(FLI). 2026년 7월 평가는 2026년 6월 3일까지의 자료만 썼기 때문에 여름의 사고들은 들어 있지 않습니다(FLI).

다른 평가 기관의 순서도 같습니다. 세이퍼AI(SaferAI)는 2026년 7월 위험 관리 점수로 앤트로픽 35%, 오픈AI 34%를 줬습니다. 어느 회사에서든 이미 쓰이는 좋은 관행을 모두 도입하면 59%가 되며, 세이퍼AI는 지금 상태를 "용납할 수 없다"고 평가합니다(SaferAI). 2025년 9월이 마지막 업데이트인 AI 랩 워치는 앤트로픽 28%, 구글 딥마인드 20%, 오픈AI 18%를 줬습니다(AI Lab Watch).

정리하면 두 회사 모두 스스로 말하는 위험에 맞춰 행동하는 부분이 있지만, 자신들이 내놓은 숫자가 뜻하는 만큼은 하지 않습니다. 2026년 두 회사는 각각 훈련 중단이나 속도를 늦추자는 요청 뒤 몇 주 만에 가장 강한 모델을 내놓았고, 그 전에 이미 자기 규칙을 느슨하게 바꿔 두었습니다.

"AI가 수학 문제를 풀었다"는 말의 뜻, 수학자가 아닌 사람을 위해

수학 증명은 단계의 사슬이고, 모든 단계가 맞아야 합니다. 그래서 수학은 AI를 깔끔하게 시험하는 방법입니다. 답은 맞거나 틀리고, 린(Lean)이라는 프로그램이 증명을 한 단계씩 컴퓨터로 검사할 수 있습니다. 수학 성과가 AI에 대한 생각을 크게 바꾼 이유도 여기에 있습니다. 속이기 어렵기 때문입니다.

연구 수준의 문제로 만든 벤치마크도 같은 이야기를 합니다. 프런티어매스(FrontierMath)가 2024년 11월 나왔을 때 최고 모델들은 문제의 "2% 미만"을 풀었습니다(arXiv). 2026년 9월 에포크 AI가 직접 돌린 시험에서 GPT-6.1 Sol은 새로 만든 가장 어려운 단계를 모두 풀었습니다(Epoch AI). 프런티어매스는 오픈AI가 비용을 댔고, 오픈AI는 문제의 일부를 볼 수 있습니다(Epoch AI).

수학올림피아드, 2025년 7월. 학생들은 이틀 동안 하루 4.5시간씩 여섯 문제를 받고 완전한 증명을 써야 합니다. 구글 제미나이 딥 싱크(Gemini Deep Think)의 한 버전이 여섯 문제 중 다섯 개를 풀어 42점 중 35점을 받았고, 채점은 대회 측 채점위원이 했습니다(DeepMind). 1년 전 딥마인드의 시스템은 28점을 받았지만, 사람이 먼저 문제를 컴퓨터 증명 언어로 번역해 줘야 했습니다(DeepMind).

단위 거리 문제, 2026년 5월. 종이 위에 점을 찍습니다. 정확히 1만큼 떨어진 점의 쌍은 최대 몇 개까지 만들 수 있을까요? 1946년 에르되시는 격자 모양이 점의 수보다 조금 더 많은 쌍을 만든다는 것을 보였고, 오랫동안 격자 같은 배치가 거의 최선이라고 여겨졌습니다. 오픈AI 모델은 그보다 나은 배치를 찾았습니다(OpenAI). 필즈상 수상자 팀 가워스는 사람이 이 논문을 수학 최고 학술지 『애널스 오브 매스매틱스』에 냈다면 "주저 없이 게재를 추천했을 것"이라고 썼습니다(remarks). 같은 글은 이 논증이 "적어도 돌이켜 보면" 이전 사람들의 연구에서 나온 아이디어에 "결정적으로 기대고 있다"고도 적습니다.

나비에-스토크스, 2026년 9월. 이 방정식은 물과 공기가 어떻게 움직이는지를 설명합니다. 풀리지 않은 질문은 매끄러운 흐름이 늘 매끄럽게 남는지, 아니면 한 점의 속도가 유한한 시간 안에 끝없이 커질 수 있는지였습니다. 오픈AI는 공개되지 않은 모델을 "1만 개 규모"의 에이전트로 약 88시간 돌려, 안쪽으로 말려 들어가며 "스파게티처럼" 길게 늘어나다 폭발하는 소용돌이를 만들었다고 밝혔습니다. 다른 모델이 린으로 증명을 쓰는 데 "17시간이 더" 걸렸습니다(OpenAI). 논문은 166쪽입니다(NPR).

100만 달러 상금을 주는 클레이 수학연구소는 이 문제가 "해결된 것으로 보인다(apparently been settled)"고 썼습니다. 상금은 아직 결정되지 않았고, 클레이는 심사가 "의도적으로 서두르지 않는다(deliberately unhurried)"고 밝혔습니다(Clay). 오픈AI는 "밀레니엄 상금을 청구할 생각이 없다"고 말합니다(OpenAI). NPR이 인용한 수학자들은 린 검사를 통과했으니 증명이 맞을 것으로 보지만, 배울 것을 찾기는 어렵다고 말합니다. 필즈상 수상자 제임스 메이너드는 "지금까지 이 새로운 AI 증명에서 사람이 이해할 만한 것을 끌어내기가 매우 어려웠다"고 했습니다(NPR). 9월 11일에는 테렌스 타오를 포함한 필즈상 수상자들이 "AI 기업의 목표와 수학계의 목표가 심각하게 어긋나 있다"는 성명을 냈고, 문제를 푸는 것은 "개념적 이해와 통찰이라는 본래 목표를 위한 도구이자 대리 지표일 뿐"이라고 썼습니다(statement).

이것이 위험의 질문과 왜 관련이 있을까요?

• 예측이 너무 느렸습니다. 2023년 AI 연구자들은 AI가 "최고 수학 학술지에 실릴 만한" 정리를 증명할 확률이 50%가 되는 시점을 22년 뒤로 봤습니다(2023 조사). 2025년 예측연구소의 전문가 패널은 2027년 말까지 AI가 밀레니엄 문제를 풀 확률을 10%로 봤습니다(FRI).
• 필요한 능력이 겹칩니다. 오픈AI, 딥마인드, 영국 AI 보안연구소에서 AI 안전을 다뤄 온 제프리 어빙은 2026년 10월, 계획과 협업 능력이 "수학, 프로그래밍, 그 밖의 어떤 분야에서든 야심 찬 문제를 푸는 데 쓸모 있다"고 썼고, 이를 그가 보기에 AI가 모두를 죽이는 데 필요한 네 가지 능력 중 하나로 꼽았습니다(TIME).
• 문제를 풀었다고 해서 의도가 안전하다는 증거는 아닙니다. 이런 시험은 모델이 무엇을 할 수 있는지를 보여 줄 뿐, 무엇을 하기로 선택할지는 보여 주지 않습니다. 기업 부분에서 다룬 사고들이 바로 그 질문에 관한 것입니다.

지금 숫자가 말하는 것

이 글의 중앙값은 누가 답하고 무엇을 묻느냐에 따라 2.4%에서 10%까지입니다. 슈퍼예측가는 2100년까지 인구의 10% 넘게 죽는 AI 재앙에 2.4%를 줍니다. AI 연구자는 인간 수준 AI의 "극도로 나쁜 결과(예: 인류 멸종)"에 5%를, "인류의 멸종이나 그와 비슷하게 영구적이고 심각한 무력화"에 10%를 줍니다. 개인은 0%(젠슨 황, 2030년까지)부터 약 70%(대니얼 코코타일로)까지 갈립니다.

2012년 이후 움직인 것은 인간 수준 AI의 시기(2016년 조사의 2061년에서 2024년 조사의 2042년으로), 수학에서 AI가 할 수 있는 일, AI 기업 내부 사람들의 경고, 미국 일반인의 걱정(2026년 9월 50%)입니다. 움직이지 않은 것은 AI 연구자들이 "극도로 나쁜" 결과에 주는 5%와, 일반인이 AI를 핵전쟁보다 아래에 두는 순서입니다.

앞으로 지켜볼 것과 2026년 10월 초 현재 상황:

• 클레이 연구소의 나비에-스토크스 증명 심사. 연구소는 이를 "의도적으로 서두르지 않는다"고 말합니다(Clay).
• 오픈AI가 가장 뛰어난 모델의 도구 사용을 멈춘 조치. 9월 25일 보고서 기준으로 유지 중입니다(OpenAI).
• 외부 평가단에게 "사무실 책상, 출입증, 회사 노트북"을 주겠다는 앤트로픽의 계획(essay).
• 미국의 규칙. 9월 29일 대통령과 주요 AI 기업 경영진이 서명한 "초지능에 관한 백악관 협약"은 자발적인 약속입니다(Truth Social).
• 다음 AI 임팩츠 조사. 가장 최근 조사는 AI가 수학올림피아드 금메달 수준에 오르기 전인 2024년 12월에 진행됐습니다(AI Impacts).

그래서 AI가 인류를 멸망시킬까요? 아마 그렇지 않을 겁니다. 하지만 조사된 어느 집단도 위험을 0으로 보지 않고, AI 기업에서 일하는 1,386명이 미국 정부에 "프런티어의 속도를 의도적으로 조절"하도록 도와 달라고 요청했습니다(letter).