79g주부DB업체^*텔thinkDB_◀ > 중고장터

79g주부DB업체^*텔thinkDB_◀ AI 지적 능력 기존 벤치마크 차례로 능가똑똑한 인간 1000명이 낸 '마지막 시험'o1, 딥시크R1, 제미나이 모두 10점 미만퍼즐 패턴, 언어 상식에서도 줄줄이 오답새 벤치마크로 특훈... 5년 내 AGI 나올까편집자주우주, 인공지능, 반도체, 바이오, 에너지 등 첨단 기술이 정치와 외교를 움직이고 평범한 일상을 바꿔 놓는다. 기술이 패권이 되고 상식이 되는 시대다. 한국일보는 최신 이슈와 관련된 다양한 기술들의 숨은 의미를 찾고 사회에 미치는 영향을 심층 분석하는 '테크 인사이트(Tech Insight)'를 격주 금요일 연재한다.인공지능(AI)이 어려운 문제를 푸는 모습을 주제로 설정하고 생성형 AI를 이용해 그린 그림. 달리3·신혜정 기자“아냐, 나 포기할래(No, I give up).” 최근 등장한 성능 시험(벤치마크1)에서 인공지능(AI) 모델이 문제를 풀다가 ‘중도 포기’ 선언을 했다. 여러 벤치마크에서 줄곧 90점을 받았던 1등 AI 모델이 새로운 시험에서 단 한 문제 빼고 모두 오답을 내는 이변도 생겼다.하루가 멀다 하고 똑똑해지던 AI가 좌절하게 된 건, 모델의 한계를 시험하기 위해 인간이 작정하고 만든 새로운 벤치마크 때문이다. 생성형 AI의 지적 능력은 이미 인간을 뛰어넘었다. 전문가들은 다음 단계인 인공일반지능(AGI)으로서의 능력을 확인할 새 벤치마크를 만들고 있다. 주목할 점은 AI가 박사급 문제만 모은 초고난도 시험뿐 아니라, 일반상식 퀴즈에서도 고전을 면치 못했다는 것이다.우등생 AI 좌절시킨 '역대급' 벤치마크 지난 7일(현지시간) 미국 스탠퍼드대 인간중심 인공지능연구소(HAI)가 발표한 ‘AI 인덱스 2025’는 “AI를 시험하기 위한 더 도전적인 벤치마크가 꾸준히 출시되고 있다”는 점을 강조했다. AI가 기존 벤치마크를 이미 정복했기 때문이다. AI 벤치마크 중 가장 널리 쓰이는 건 ‘대규모 다중작업 언어 이해(MMLU)’다. 대학생 수준에서 과학·공학·인문학 등 57개 분야의 지식을 평가하는 문제가 담겼다. 인간이 풀면 정확도가 89.8%인데, AI는 이미 이를 뛰어넘었다. 오픈AI의 추론형 AI 모델 o1은 지난해 9월 92.3%를 기록했다.미국의 비영리단체 AI안전센터(CAIS)와 스타트업 스케일AI가 지난 1월 공개한 벤치마크는 문제 난도를 박사급으로 올렸다. 벤치마크의 이름은 ‘인류의 마지막 시험(HLE·Humanity’s Last Exam)’, 인간이 AI에게 낼 수 있는 가장 어려운 문제라는 뜻이다. 시험 문제는 50개국 500여 기관의 교수와 연구자 약 1,000명이 출제했다