증강 없이, 외우지 않고 생각하게 만들기

한 화면 요약

한 줄 요약. 스도쿠는 증강 없이 99.2%에 닿았습니다. ARC는 아직 최고 7.75%(후보 16개를 만들어 투표한 점수, 한 번 푼 점수로는 7.25%)로, 사전학습 없이 문제마다 시험 때 학습하는 CompressARC의 20%에 못 미칩니다. 가장 큰 벽은 몸통에 필요한 연산이 없다는 것, 곧 도구입니다. 배우는 법을 배우는 메타학습(반쪽 보기 연습)은 도움이 되지 않았고, 오래 생각할수록 좋아지는지(깊이)는 지금 단계별 다시 풀기(LF)로 시험하고 있습니다.

하려는 일. 작은 재귀 모델(TRM: 작은 신경망 하나를 되풀이해서 쓰며 답을 다듬는 모델)이 증강 없이도 퍼즐을 풀게 만듭니다. 증강은 학습 퍼즐을 돌리고 뒤집고 색을 바꿔 수백~수천 배로 늘리는 방법입니다.

왜 증강을 빼나. 증강은 사람이 아는 대칭(돌리기, 뒤집기, 색 바꾸기)을 데이터로 넣어 주는 일입니다. 이것을 빼야 모델이 스스로 규칙을 찾는 능력을 잴 수 있습니다. ARC의 목표 20%는 사전학습 없이 문제마다 시험 때 20분씩 학습하는 CompressARC의 점수입니다.

핵심은 네 가지입니다. 외우지 못하게, 여러 가설을 세우게(폭), 오래 생각할수록 좋아지게(깊이), 필요한 연산을 갖추게(도구). 틀린 질의의 94%는 몸통에 필요한 연산이 없어서 틀립니다.

끝난 것과 돌고 있는 것. 반쪽 보기 연습은 판정 NO로 끝났고, 개선 감독은 학습을 마쳐 사실상 실패입니다. 지금은 ① 깊이: 확실한 칸부터 굳히고 헷갈리는 칸은 다시 푸는 단계별 다시 풀기(LF)가 학습의 약 48%를 지났고 결과는 아직 모릅니다. ② 도구: 이웃 칸 보기(LM)는 코드를 마쳐 검토 중이고 곧 시작하며, 뒤집은·돌린 사본 읽기(BC)는 등록만 했습니다. 결과별 다음 수는 지금과 다음에 있습니다.

문제와 규칙

ARC: 보기에서 규칙을 찾아 질의에 적용한다

스도쿠: 빈칸을 규칙에 맞게 채운다

지키는 규칙

• 증강 없음. 학습 퍼즐을 돌리거나 뒤집어 늘리지 않습니다.
• 질의 정답은 채점에만. 후보를 고르거나 멈출 때를 정할 때 질의 정답을 보지 않습니다. 모든 선택이 끝난 뒤 맞았는지만 셉니다.
• ARC 학습 자료는 원래 TRM과 같은 규약. 학습 과제와 평가 과제의 보기는 학습에 쓰고, 평가 질의의 정답은 쓰지 않습니다.
• 다른 연구와 비교할 때는 조건을 적습니다. 비교 대상은 대부분 증강을 썼으므로 같은 조건의 비교가 아닙니다.

모델이 푸는 방식

TRM은 작은 신경망(몸통) 하나를 계속 되풀이해서 씁니다. 퍼즐을 보고 “생각 z”라는 메모장을 여러 번 고쳐 쓴 뒤 답 y를 한 번 고칩니다. 이 한 바퀴를 풀이라 부르고, 풀이를 16번 되풀이합니다. 앞 풀이의 답이 다음 풀이의 출발점입니다.

ARC에서는 과제마다 쪽지(과제 코드, puzzle embedding)가 하나씩 붙습니다. 그 과제의 규칙을 담도록 학습되는 작은 숫자 묶음입니다. 평가 과제도 보기는 학습 때 함께 넣으므로, 쪽지는 학습 중에 보기만 보고 만들어집니다(질의 정답은 쓰지 않음).

우리가 원래 TRM에서 바꾼 것

반쪽 보기 연습

시험 때 몸통은 쪽지가 한 번도 못 본 질의를 풀어야 합니다. 그런데 평소 학습에서는 쪽지가 모든 보기를 이미 본 상태라, 쪽지가 규칙 대신 보기의 답을 외우기 쉽습니다. 그래서 학습 중 과제의 보기를 둘로 나눕니다. 쪽지 b는 A쪽 보기에서만 배우고, 몸통은 쪽지 b가 못 본 B쪽 보기를 풀어 보며 배웁니다. 예: 보기 1만 보고 쪽지 b를 만들고, 몸통이 쪽지 b로 보기 2를 맞혀 보게 합니다. 시험과 같은 상황을 미리 연습하는 것입니다.

결과. 이 연습은 몸통이 쪽지를 쓰는 법을 바꿨지만, 최종 답을 낫게 하지는 못했습니다. 보기를 평균 낸 쪽지로 푸는 질의가 13개에서 26개로 늘었는데도, 마지막 답의 이득은 연습을 뺀 쌍둥이와 같았습니다. 자세한 판정은 ARC 절에 있습니다.

스도쿠: 증강 없이 99.2%

증강 없음, 학습 퍼즐 1,000개. 답이 멈출 때까지 풀게 해 평균 21.4풀이를 썼습니다. 같은 16풀이로는 86.6%로, 증강을 쓴 원래 TRM(87.4%)과 비슷합니다. 정답률이 오른 순서는 곧 쌓인 아이디어의 순서입니다.

• 같은 16풀이로 86.6%. 증강을 쓴 원래 TRM의 87.4%에 거의 닿았습니다.
• 96.9%와 99.2%는 시험 때 더 생각한 점수입니다. 답이 더 바뀌지 않을 때까지 풀면 평균 18.2풀이에서 96.9%(세 시드 96.6~97.2), 끝내 안 멈춘 3.6%만 다시 풀면 평균 21.4풀이에서 99.2%(99.0~99.4)입니다. 계산량이 달라서 16풀이 점수와 나눠 읽어야 합니다.
• 멈춤 판정은 믿을 만합니다. 더 풀어도 답이 바뀌지 않는 상태를 고정점이라 부릅니다. 모델이 라벨 없이 “답이 멈췄다”고 한 경우 정말 맞을 확률이 99.99%입니다.

ARC: 3.0%에서 7.25%, 목표는 20%

걷기만 넣으면 외우기는 줄지만 규칙도 못 배워 점수가 2.0%로 내려갔습니다. 쪽지를 흐리게 하고 도구를 늘리자 6%대가 되었습니다. 아래에서 기둥별로 무엇이 되고 무엇이 막혔는지 봅니다.

아래 그림은 맞힌 질의 수(419개 중)로 셉니다. 32개 ≈ 7.6%이고, 목표 20%는 약 84개입니다. 과제 단위 점수와는 조금 다릅니다.

외우지 못하게반쪽 보기 연습은 세 번째 조건에서 실패해 판정 NO

쪽지를 흐리게 하자 2.4%가 4.1%가 되었습니다. 이어서 반쪽 보기 연습을 더하자 7.25%가 되었습니다. 이 이득이 정말 연습에서 왔는지 가리려고 쌍둥이 모델을 따로 학습시켰습니다. 쌍둥이는 학습 처방(배치 32, 보기 사본 두 개)은 같고, 몸통만 못 본 보기로 배우지 못하게 막은 모델입니다.

읽기. 쌍둥이도 같은 질의 32개를 맞혔습니다(과제 단위 pass@2는 6.88% 대 7.25%). 그래서 처음 모델(29개) 대비 +3은 메타학습이 아니라 학습 처방(배치 32, 사본 둘)에서 왔습니다. 메타학습이 바꾼 것은 있습니다. 보기를 평균 낸 쪽지로 푸는 질의가 13개에서 26개로 늘었습니다. 그러나 이 능력은 마지막 답으로 옮겨 가지 않았습니다. 판정은 NO입니다.

질의 +3은 시드 소음(±2)에 가깝습니다. 시드 1의 +8은 짝 모델이 23으로 낮았던 영향도 있습니다(이어 학습이 시드 1에서는 손해였습니다). 과제 pass@2로는 7.25%와 7.1%이고, 짝 모델은 6.1%와 5.3%입니다. 두 번째 조건은 “쪽지를 보기 하나 빼고 만든 뒤 빼 둔 보기를 푸는가”를 재는 시험입니다.

폭후보 안에 정답은 있는데 고르지 못한다

시험 때 쪽지에 잡음을 섞어 여러 개 만들면 답이 다양해집니다. 후보를 64개로 늘리자 정답이 후보 안에 들어 있는 질의가 55개(13%)가 되었습니다. 그러나 라벨 없이 다수결로 고르면 36~37개에서 멈춥니다.

깊이오래 생각해도 늘지 않는다

풀이 횟수를 1에서 16까지 늘렸을 때 맞힌 질의 수가 어떻게 달라지는지 봤습니다. 늘어난 폭은 짝 모델이 +4, +3이고 반쪽 보기 연습 모델이 +4, +4로 같습니다. 반쪽 보기 연습은 첫 풀이를 좋게 만들 뿐, 생각할수록 좋아지게 만들지는 못했습니다. 그래서 단계마다 다른 목표를 주는 개선 감독을 시험했고, 결과는 그림 아래에 있습니다.

개선 감독: 학습을 마쳤고 사실상 실패

개선 감독은 풀이 단계마다 학습 목표를 다르게 줍니다. 앞 단계는 입력 격자에 가까운 쉬운 목표, 뒤로 갈수록 정답에 가까운 목표이고, 12번째 풀이부터는 전부 정답입니다. 마지막 체크포인트가 맞힌 질의는 28개입니다. 반쪽 보기 연습 모델은 32개였고, 성공선은 35개였습니다. 공식 판정 행은 마지막 진단이 끝나야 찍히며 사실상 실패입니다.

읽기. 앞 단계에 쉬운 목표를 주자 모델이 앞에서 입력을 그대로 베끼는 쪽으로 기울었고, 마지막 답은 오히려 나빠졌습니다. 목표를 바꾸는 방식만으로는 깊이가 생기지 않았습니다.

단계별 다시 풀기(LF): 진행 중, 결과 미정

사진을 처음엔 심하게 흐렸다가 점점 선명하게 만드는 것과 비슷합니다. 학습 때 풀이 단계마다 정답의 일부 칸을 가려서 보여 주고, 단계가 갈수록 가려지는 칸이 줄어 12번째부터는 전부 보입니다. 앞 단계에서 가려진 칸 안에 뒤 단계에서 가려진 칸이 포개져 있어 겹겹의 흐림이 됩니다. 시험 때는 정답 대신 모델 스스로 느끼는 확신으로 칸을 고릅니다. 확실한 칸은 굳히고, 헷갈리는 칸만 다시 열어서 풉니다.

시작 전 점검(관문)은 통과했습니다. 칸별 확신은 맞는 칸과 틀린 칸을 가릅니다(AUROC 0.878. 1이면 완벽하게 가르고 0.5면 동전 던지기와 같습니다). 틀린 질의의 52%는 틀린 칸이 모두 확신이 낮은 절반 안에 있어서 다시 풀 기회가 있습니다. 나머지 48%에는 확신하며 틀린 칸이 있어서 그 칸이 일찍 굳어 버립니다.

진행 상황. 2026-10-14 12:52에 시작해 학습의 약 48%를 지났고, 학습 중간 자동 점검이 지금 돌고 있습니다. 결과는 아직 없습니다.

참고: 스도쿠에서 고정점의 쓸모

스도쿠에서는 “답이 멈췄다”는 신호가 99.99% 맞아서, 라벨 100개로 시작해 멈춘 답으로 스스로 배우는 것(STaR 방식)이 통했습니다(걷기만 61.7% → 스스로 배우기 2회 84.4%로, 라벨 900개 모델 83.4%와 비슷). ARC에서는 이 신호를 쓸 수 없습니다. 멈춘 답이 맞을 확률이 7.7%로, 그냥 정답률(약 7.4%)과 같기 때문입니다.

병목: 틀린 질의의 94%는 자기 보기도 못 푼다

대부분은 쪽지를 바꿔도 풀리지 않습니다. 후보를 64개 만들어도 정답이 후보에 들어오는 질의는 55개뿐입니다. 몸통이 그 과제의 변환을 수행하지 못하기 때문이므로, 몸통의 도구를 늘리는 방향이 남습니다. 어떤 도구가 비어 있는지는 다음 절에서 봅니다.

도구가 비어 있는 곳

의도. 틀린 질의의 94%는 같은 과제의 보기도 풀지 못합니다. 쪽지 문제가 아니라 몸통에 필요한 연산이 없다는 뜻입니다. 그러면 어떤 연산이 비어 있는지 찾아야 합니다.

방법. 평가 과제 400개를 보기만 보고 범주로 나눴습니다(질의 정답은 쓰지 않음). 잰 것은 “과제의 보기를 모두 정확히 푸는가”이고, 모델은 반쪽 보기 연습 모델(시드 0)입니다. 400개 전체에서는 54개(13.5%)가 보기를 모두 풉니다. 비교선은 입력 격자 크기가 같은 과제가 보통 이 정도 푸는지를 따져 낸 기대 개수입니다. 이 분석은 판정이 아니라 진단입니다.

도구출력이 입력보다 큰 과제에서 가장 크게 비어 있다

입력을 타일처럼 이어 붙이거나, 거울·회전한 사본을 붙이거나, 확대하는 과제입니다. 이런 과제는 35개인데 보기를 모두 푼 것은 1개뿐입니다. 크기만 보고 기대하면 8.3개입니다. 단순한 프로그램 하나로 보기를 정확히 재현할 수 있는 10개 과제는 하나도 풀지 못했습니다.

출력 안의 블록 단위로 보면 이유가 보입니다. 입력을 그대로 복사한 블록은 16개 중 9개가 맞는데, 뒤집거나 돌려서 놓인 블록은 27개 중 3개만 맞습니다. 몸통에는 “입력의 사본을 뒤집거나 돌려서 출력의 제자리에 읽어 오는” 연산이 없습니다.

도구입력의 물체로 새 작은 격자를 만드는 과제도 비어 있다

잘라내기가 아니라, 입력에 있는 물체들을 모아 새 격자를 짓는 과제입니다. 32개 중 보기를 모두 푼 것은 1개이고, 기대는 3.0개입니다.

같은 크기 과제는 특정 도구가 아니라 규칙 찾기 전반이 약하다

나머지 같은 크기 과제 약 237개는 크기로 따진 기대와 정확히 같은 비율(12.2%)로 풉니다. 하나의 도구만 빠졌다기보다 규칙을 일반적으로 찾아내는 힘이 모자란 것입니다.

측정 결함 하나를 밝힙니다. 보기 쪽 일부 지표가 평행이동된 보기에서 부풀려지는 문제가 있었습니다. 질의 점수와 모든 판정은 영향을 받지 않았습니다.

다음 수. 가장 뚜렷한 빈자리가 출력이 큰 과제여서 뒤집은·돌린 사본 읽기(BC)를 등록했고, 같은 크기 과제를 위해 이웃 칸 보기(LM)를 먼저 시험합니다. 둘 다 지금과 다음에 있습니다.

지금 돌고 있는 것과 다음 갈림길

결과에 따라 이렇게 갈립니다

안 된 것

선행 연구와의 차이

용어 풀이