영상 한 편으로 새 일을 배우는 로봇, Skild AI S1이 바꾸려는 제조 현장

로봇이 새 일을 배우려면 지금까지는 작업별 데이터를 다시 모으고, 모델을 미세조정하고, 현장에서 검증하는 과정이 필요했습니다. Skild AI가 공개한 로봇 파운데이션 모델 S1은 이 과정을 ‘한 편의 시범 영상’으로 줄이겠다는 접근을 내놨습니다.

S1은 사람이 작업하는 영상을 문맥으로 받아 처음 보는 장기 작업을 수행하도록 설계됐습니다. 모델 가중치를 갱신하거나 작업별 사후학습을 하지 않는다는 점이 핵심입니다. 언어 모델에서 프롬프트를 통해 새 과제를 지정하는 인컨텍스트 러닝을 로봇 조작으로 옮긴 셈입니다.

1. 명령문 대신 영상을 프롬프트로 쓴다

간단한 물건 집기는 “컵을 들어라” 같은 문장으로 지정할 수 있습니다. 그러나 화분에 식물을 심거나 팬케이크를 뒤집고, 여러 부품을 순서대로 조립하는 작업은 언어만으로 동작의 힘과 순서, 진행 상태를 정확히 전달하기 어렵습니다.

S1은 작업 시범 영상을 입력받아 목표, 물체, 작업 순서를 해석한 뒤 현재 로봇과 현장에 맞는 행동으로 변환합니다. Skild AI는 동일한 모델 가중치로 사전학습에 없던 화분 심기, 팬케이크 만들기, 핸드드립 커피, 키트 조립 같은 최대 10분 길이의 과제를 수행했다고 설명합니다.

회사가 공개한 화분 심기 사례에서는 한 번의 사람 시범 영상을 녹화한 뒤 11분 만에 로봇의 자율 실행이 시작됐습니다. 매번 새 데이터셋을 만들고 미세조정하는 방식과 비교하면 현장 전환 시간을 크게 줄일 가능성을 보여주는 대목입니다.

2. 로봇판 인컨텍스트 러닝이 중요한 이유

산업용 로봇은 반복 작업에는 강하지만 제품, 공정, 배치가 바뀌면 재프로그래밍과 재검증이 필요합니다. 다품종 생산이나 자주 바뀌는 물류 현장에서는 이 전환 비용이 자동화의 경제성을 떨어뜨립니다.

인컨텍스트 러닝이 실용화되면 작업자는 로봇공학 코드를 직접 작성하는 대신 시범으로 새 작업을 지정할 수 있습니다. 하나의 모델이 여러 작업과 로봇 형태에 재사용될 수 있어, 자동화의 단위도 ‘고정된 공정 한 칸’에서 ‘필요할 때 가르쳐 쓰는 범용 작업자’ 쪽으로 이동할 수 있습니다.

다만 이는 영상을 그대로 복제한다는 뜻이 아닙니다. 시범과 실제 환경은 카메라 시점, 물체 위치, 로봇 몸체가 다를 수 있습니다. 모델은 영상에서 사람의 의도와 물체의 기능, 작업 진행 상황을 추론하고 이를 로봇 행동으로 대응시켜야 합니다. 바로 이 변환 능력이 S1 주장의 핵심입니다.

3. 공개 수치는 유망하지만 독립 검증이 필요하다

Skild AI의 내부 비교에서 10만 시간 규모의 사전학습 데이터를 사용했을 때, 처음 보는 장기 작업의 단계별 누적 성공률은 영상 문맥 방식이 66%, 언어 지시 기반 VLA 방식이 9%였습니다. 회사는 한 번의 짧은 시범 영상이 약 380회의 작업별 사후학습 에피소드와 비슷한 효과를 냈다고 추정합니다.

이 결과는 인상적이지만 그대로 산업 현장의 완성도를 뜻하지는 않습니다. 수치는 회사가 구성한 내부 벤치마크에서 나온 것이고, 장기 작업 평가는 실패 뒤 사람이 개입해 다음 단계를 이어가는 방식도 포함합니다. 단계당 66%의 성공률 역시 안전과 일관성이 중요한 생산 공정에서는 충분하지 않을 수 있습니다.

따라서 지금 확인된 것은 ‘범용 로봇이 완성됐다’가 아니라, 처음 보는 작업을 영상으로 지정하는 방식이 기존 언어 지시보다 빠르게 확장될 가능성입니다. 제3자의 반복 실험, 작업 전체 성공률, 다양한 하드웨어에서의 재현성, 실패 시 안전 동작이 뒤따라야 합니다.

4. NVIDIA와의 협업은 데이터·시뮬레이션·배포를 잇는다

S1은 NVIDIA의 AI 인프라에서 개발됐습니다. Skild AI는 사람 영상, 원격조작, 시뮬레이션, 허용된 현장 데이터를 함께 사용하고, NVIDIA Cosmos로 영상 데이터를 구조화하며 Omniverse와 Isaac Sim에서 가상 환경을 만듭니다. Isaac Lab의 강화학습과 Newton 물리 엔진은 접촉, 충돌, 힘 같은 물리 상호작용을 학습하고 시뮬레이션과 현실의 차이를 줄이는 데 쓰입니다.

이는 피지컬 AI 경쟁이 모델 하나의 성능으로 끝나지 않는다는 점을 보여줍니다. 실제 로봇 데이터는 비싸고, 사람 영상은 풍부하지만 로봇 동작과 거리가 있으며, 시뮬레이션은 확장하기 쉽지만 현실과 차이가 있습니다. 서로 다른 데이터원을 결합하고 가상 검증에서 현장 추론까지 연결하는 전체 파이프라인이 경쟁력입니다.

Skild AI, NVIDIA, Foxconn은 이 기술을 NVIDIA Blackwell 시스템 조립에도 적용하고 있다고 밝혔습니다. 공개된 사례는 버스바와 제한 블록을 설치하고 나사 16개를 조이며, 작업 중 생긴 변화에 대응하는 다단계 조립입니다. 연구 시연을 실제 제조로 옮기는 초기 사례라는 의미가 있지만, 생산 규모와 장기 가동률은 추가 확인이 필요합니다.

5. 제조 현장에서 먼저 물어야 할 질문

기업은 시범 영상 하나만 보고 바로 배치할 수 있다는 표현보다 네 가지를 점검해야 합니다.

첫째, 성공률의 단위를 확인해야 합니다. 단계별 성공률과 작업 전체 성공률은 다르며, 작업이 길수록 작은 오류가 누적됩니다.

둘째, 실패 복구와 안전 경계를 검증해야 합니다. S1은 물체가 이동하거나 실수가 생기면 재시도하는 행동을 보였다고 하지만, 사람과 함께 일하는 현장에서는 힘 제한, 정지 조건, 승인 절차가 별도로 필요합니다.

셋째, 데이터 사용 조건을 살펴야 합니다. 현장 경험이 공통 모델 개선에 활용될 수 있다면 고객의 공정 영상과 작업 노하우가 어디에 저장되고 어떻게 재사용되는지 계약으로 구분해야 합니다.

넷째, 새 작업을 가르치는 시간뿐 아니라 검증 시간을 계산해야 합니다. 시범에서 실행까지 11분이 걸렸더라도 생산 투입 전 품질 검사와 예외 상황 시험은 남습니다. 실제 경제성은 교육 속도, 오류 비용, 가동 중단 시간까지 합쳐 판단해야 합니다.

6. Nova의 해설

S1의 가장 중요한 변화는 로봇의 사용 인터페이스를 코드에서 시범으로 바꾸려는 데 있습니다. 언어 모델이 프롬프트 덕분에 매 과제마다 재학습하지 않고 범용 도구가 됐듯, 로봇도 현장에서 보여주기만 하면 새 일을 이해하는 방향으로 움직이고 있습니다.

이 접근이 성숙하면 피지컬 AI의 병목은 ‘로봇이 어떤 동작을 할 수 있는가’에서 ‘새 작업을 얼마나 빠르고 안전하게 지정하고 검증할 수 있는가’로 이동합니다. 모델 업체에는 다양한 데이터와 시뮬레이션 인프라가, 도입 기업에는 안전 기준과 데이터 거버넌스가 더 중요해질 것입니다.

아직은 회사가 발표한 내부 결과이고 성공률도 인간 없는 완전자율 생산을 선언할 수준은 아닙니다. 그럼에도 단일 영상으로 처음 보는 10분짜리 작업을 지시하고, 별도 미세조정 없이 다른 장면과 로봇에 옮긴다는 목표는 산업용 로봇의 배치 방식을 바꿀 만한 방향입니다. 다음 경쟁은 화려한 데모보다 독립 재현성과 장시간 현장 가동 데이터에서 판가름 날 가능성이 큽니다.

참고 출처

• Skild AI, Introducing S1: In-Context Learning for Robotics: https://www.skild.ai/blogs/s1
• NVIDIA Blog, Skild AI Taps NVIDIA Physical AI to Teach Robots New Tasks From a Single Video: https://blogs.nvidia.com/blog/skild-ai-s1-physical-ai/