증강 없이, 외우지 않고 생각하게 만들기

한 화면 요약

하려는 일. 작은 재귀 모델(TRM: 작은 신경망 하나를 되풀이해서 쓰며 답을 다듬는 모델)이 증강 없이도 퍼즐을 풀게 만듭니다. 증강은 학습 퍼즐을 돌리고 뒤집고 색을 바꿔 수백~수천 배로 늘리는 방법입니다.

왜 증강을 빼나. 증강은 사람이 아는 대칭(돌리기, 뒤집기, 색 바꾸기)을 데이터로 넣어 주는 일입니다. 이것을 빼야 모델이 스스로 규칙을 찾는 능력을 잴 수 있습니다. ARC의 목표 20%는 사전학습 없이 문제마다 시험 때 20분씩 학습하는 CompressARC의 점수입니다.

핵심은 세 가지입니다. 외우지 못하게, 여러 가설을 세우게(폭), 오래 생각할수록 좋아지게(깊이).

지금 돌고 있는 것. ① 깊이: 풀이마다 다른 학습 목표를 주면 ARC에서도 “생각할수록 좋아지는지”(개선 감독). ② 외우지 못하게: 반쪽 보기 연습의 이득이 정말 몸통에서 오는지 확인하는 마지막 대조 실험. 결과별 다음 수는 지금과 다음에 있습니다.

문제와 규칙

ARC: 보기에서 규칙을 찾아 질의에 적용한다

스도쿠: 빈칸을 규칙에 맞게 채운다

지키는 규칙

• 증강 없음. 학습 퍼즐을 돌리거나 뒤집어 늘리지 않습니다.
• 질의 정답은 채점에만. 후보를 고르거나 멈출 때를 정할 때 질의 정답을 보지 않습니다. 모든 선택이 끝난 뒤 맞았는지만 셉니다.
• ARC 학습 자료는 원래 TRM과 같은 규약. 학습 과제와 평가 과제의 보기는 학습에 쓰고, 평가 질의의 정답은 쓰지 않습니다.
• 다른 연구와 비교할 때는 조건을 적습니다. 비교 대상은 대부분 증강을 썼으므로 같은 조건의 비교가 아닙니다.

모델이 푸는 방식

TRM은 작은 신경망(몸통) 하나를 계속 되풀이해서 씁니다. 퍼즐을 보고 “생각 z”라는 메모장을 여러 번 고쳐 쓴 뒤 답 y를 한 번 고칩니다. 이 한 바퀴를 풀이라 부르고, 풀이를 16번 되풀이합니다. 앞 풀이의 답이 다음 풀이의 출발점입니다.

ARC에서는 과제마다 쪽지(과제 코드, puzzle embedding)가 하나씩 붙습니다. 그 과제의 규칙을 담도록 학습되는 작은 숫자 묶음입니다. 평가 과제도 보기는 학습 때 함께 넣으므로, 쪽지는 학습 중에 보기만 보고 만들어집니다(질의 정답은 쓰지 않음).

우리가 원래 TRM에서 바꾼 것

반쪽 보기 연습

시험 때 몸통은 쪽지가 한 번도 못 본 질의를 풀어야 합니다. 그런데 평소 학습에서는 쪽지가 모든 보기를 이미 본 상태라, 쪽지가 규칙 대신 보기의 답을 외우기 쉽습니다. 그래서 학습 중 과제의 보기를 둘로 나눕니다. 쪽지 b는 A쪽 보기에서만 배우고, 몸통은 쪽지 b가 못 본 B쪽 보기를 풀어 보며 배웁니다. 예: 보기 1만 보고 쪽지 b를 만들고, 몸통이 쪽지 b로 보기 2를 맞혀 보게 합니다. 시험과 같은 상황을 미리 연습하는 것입니다.

스도쿠: 증강 없이 99.2%

증강 없음, 학습 퍼즐 1,000개. 답이 멈출 때까지 풀게 해 평균 21.4풀이를 썼습니다. 같은 16풀이로는 86.6%로, 증강을 쓴 원래 TRM(87.4%)과 비슷합니다. 정답률이 오른 순서는 곧 쌓인 아이디어의 순서입니다.

• 같은 16풀이로 86.6%. 증강을 쓴 원래 TRM의 87.4%에 거의 닿았습니다.
• 96.9%와 99.2%는 시험 때 더 생각한 점수입니다. 답이 더 바뀌지 않을 때까지 풀면 평균 18.2풀이에서 96.9%(세 시드 96.6~97.2), 끝내 안 멈춘 3.6%만 다시 풀면 평균 21.4풀이에서 99.2%(99.0~99.4)입니다. 계산량이 달라서 16풀이 점수와 나눠 읽어야 합니다.
• 멈춤 판정은 믿을 만합니다. 더 풀어도 답이 바뀌지 않는 상태를 고정점이라 부릅니다. 모델이 라벨 없이 “답이 멈췄다”고 한 경우 정말 맞을 확률이 99.99%입니다.

ARC: 3.0%에서 7.25%, 목표는 20%

걷기만 넣으면 외우기는 줄지만 규칙도 못 배워 점수가 2.0%로 내려갔습니다. 쪽지를 흐리게 하고 도구를 늘리자 6%대가 되었습니다. 아래에서 세 기둥별로 무엇이 되고 무엇이 막혔는지 봅니다.

아래 그림은 맞힌 질의 수(419개 중)로 셉니다. 32개 ≈ 7.6%이고, 목표 20%는 약 84개입니다. 과제 단위 점수와는 조금 다릅니다.

외우지 못하게반쪽 보기 연습은 세 조건 중 둘을 통과했다

쪽지를 흐리게 하자 2.4%가 4.1%가 되었습니다. 가장 최근에는 반쪽 보기 연습을 더했습니다.

질의 +3은 시드 소음(±2)에 가깝습니다. 시드 1의 +8은 짝 모델이 23으로 낮았던 영향도 있습니다(이어 학습이 시드 1에서는 손해였습니다). 과제 pass@2로는 7.25%와 7.1%이고, 짝 모델은 6.1%와 5.3%입니다. 두 번째 조건은 “쪽지를 보기 하나 빼고 만든 뒤 빼 둔 보기를 푸는가”를 재는 시험입니다.

폭후보 안에 정답은 있는데 고르지 못한다

시험 때 쪽지에 잡음을 섞어 여러 개 만들면 답이 다양해집니다. 후보를 64개로 늘리자 정답이 후보 안에 들어 있는 질의가 55개(13%)가 되었습니다. 그러나 라벨 없이 다수결로 고르면 36~37개에서 멈춥니다.

깊이오래 생각해도 늘지 않는다

풀이 횟수를 1에서 16까지 늘렸을 때 맞힌 질의 수가 어떻게 달라지는지 봤습니다. 늘어난 폭은 짝 모델이 +4, +3이고 반쪽 보기 연습 모델이 +4, +4로 같습니다. 반쪽 보기 연습은 첫 풀이를 좋게 만들 뿐, 생각할수록 좋아지게 만들지는 못했습니다. 그래서 지금 개선 감독을 시험 중입니다.

참고: 스도쿠에서 고정점의 쓸모

스도쿠에서는 “답이 멈췄다”는 신호가 99.99% 맞아서, 라벨 100개로 시작해 멈춘 답으로 스스로 배우는 것(STaR 방식)이 통했습니다(걷기만 61.7% → 스스로 배우기 2회 84.4%로, 라벨 900개 모델 83.4%와 비슷). ARC에서는 이 신호를 쓸 수 없습니다. 멈춘 답이 맞을 확률이 7.7%로, 그냥 정답률(약 7.4%)과 같기 때문입니다.

병목: 틀린 질의의 94%는 자기 보기도 못 푼다

대부분은 쪽지를 바꿔도 풀리지 않습니다. 후보를 64개 만들어도 정답이 후보에 들어오는 질의는 55개뿐입니다. 몸통이 그 과제의 변환을 수행하지 못하기 때문이므로, 몸통의 도구를 늘리는 방향이 남습니다.

지금 돌고 있는 것과 다음 갈림길

결과에 따라 이렇게 갈립니다

안 된 것

선행 연구와의 차이

용어 풀이