DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Manipulation and Grasping AI — Ch.05: Grasp Planning [KR]

STATERA Library · Series 08 · Volume 17 · Chapter 05 · KR
Source: https://github.com/Statera-Library/08_Vol_17_Manipulation_and_Grasping_AI/blob/main/Chapter_05_Grasp_Planning/Chapter_05_Grasp_Planning_KR.md

Volume 17 Manipulation and Grasping AI

Chapter 05. Grasp Planning

05.01. Grasp Planning Theory Force Closure Form Closure

파지 계획(Grasp Planning)은 로봇이 물체를 획득하고 안정적으로 제어할 수 있도록 접촉 위치(Contact Location), 손 구성(Hand Configuration), 접근 동작(Approach Motion)을 선택하는 과정이다. 단순한 기하학적 위치 결정과 달리 파지 계획은 물체 형상(Object Shape), 접촉 역학(Contact Mechanics), 마찰(Friction), 액추에이터 한계(Actuator Limit), 불확실성(Uncertainty), 그리고 이후 수행할 조작 작업(Manipulation Task)을 함께 고려해야 한다. 기본적인 목표는 주어진 접촉 집합이 외란(Disturbance)에 저항하고 안정적인 조작에 충분하도록 물체의 움직임을 구속할 수 있는지를 판단하는 것이다.

유용한 이론적 모델에서는 파지(Grasp)를 로봇 손 또는 그리퍼(Gripper)와 물체 표면 사이에 형성되는 여러 접촉(Contact)의 집합으로 표현한다. 각각의 접촉은 힘(Force)을 전달하며, 접촉 모델(Contact Model)에 따라 모멘트(Moment)도 전달할 수 있다. 이러한 국부적인 상호작용은 물체 전체에 작용하는 힘과 토크(Torque)로 변환된다. 이들을 결합한 6차원의 힘과 토크 표현을 렌치(Wrench)라고 하며, 3차원 공간에서 파지 안정성을 분석하기 위한 공통적인 수학적 프레임워크를 제공한다.

파지 맵(Grasp Map)은 개별 접촉에서 발생한 힘이 물체에 작용하는 최종 렌치(Resultant Wrench)에 어떻게 기여하는지를 나타낸다. 접촉력 벡터를 f라고 하면 물체 렌치는 개념적으로 w = Gf로 표현할 수 있으며, 여기서 G는 파지 행렬(Grasp Matrix)이다. G의 구조는 접촉 위치(Contact Position), 표면 법선(Surface Normal), 접촉 모델에 따라 결정된다. 이 매핑을 분석하면 외부 외란에 대응하는 데 필요한 힘과 토크 조합을 현재 접촉들이 생성할 수 있는지 판단할 수 있다.

접촉 모델(Contact Model)은 손가락과 물체 사이에서 물리적으로 허용되는 상호작용을 결정한다. 무마찰 점 접촉(Frictionless Point Contact)은 표면에 수직인 압축력만 전달하지만, 마찰이 있는 점 접촉(Point Contact with Friction)은 접선 방향의 힘도 전달할 수 있다. 소프트 핑거 접촉(Soft-Finger Contact)은 제한적인 비틀림 모멘트(Torsional Moment)까지 전달할 수 있다. 지나치게 이상화된 모델은 실제 그리퍼가 유지할 수 없는 파지를 안정적인 것으로 판단할 수 있으므로 적절한 접촉 모델의 선택이 중요하다.

쿨롱 마찰(Coulomb Friction)은 마찰 접촉(Frictional Contact)을 표현하는 데 일반적으로 사용된다. 이 모델에서 접선 접촉력(Tangential Contact Force)은 마찰계수(Coefficient of Friction)에 따라 법선력(Normal Force)에 비례하는 범위 안에 존재해야 한다. 3차원 공간에서 허용 가능한 힘 벡터들은 접촉 법선을 중심으로 마찰 원뿔(Friction Cone)을 형성한다. 실제 계산에서는 연속적인 원뿔을 유한한 개수의 모서리로 근사하여 비선형 접촉 제약조건을 선형 또는 볼록 최적화(Convex Optimization) 문제로 변환하는 경우가 많다.

힘 폐쇄(Force Closure)는 모든 관련 방향에서 발생하는 임의의 외부 외란에 대응하는 물체 렌치를 생성할 수 있는 파지를 의미한다. 직관적으로 충분한 크기의 허용 접촉력을 생성할 수 있다면, 힘 폐쇄 파지는 물체를 병진 또는 회전시키려는 힘과 토크에 저항할 수 있다. 렌치 공간(Wrench Space)의 관점에서는 기본 접촉 렌치(Primitive Contact Wrench)들이 생성하는 볼록 영역(Convex Region)의 내부에 원점이 엄격하게 포함되는 조건과 힘 폐쇄가 연관된다.

힘 폐쇄는 마찰(Friction)에 크게 의존한다. 접선 방향의 접촉력이 그리퍼가 생성할 수 있는 렌치 집합을 크게 확장하기 때문이다. 따라서 적절히 배치된 두 개 이상의 마찰 접촉만으로도 물체를 안정화할 수 있지만, 동일한 접촉 형상이라도 무마찰 조건에서는 안정성을 확보하지 못할 수 있다. 그러나 이론적인 힘 폐쇄가 존재한다고 해서 실제적인 강건성(Robustness)이 보장되는 것은 아니다. 제한된 마찰, 액추에이터 포화(Actuator Saturation), 부정확한 형상, 접촉 위치 오차 등이 실제 안정성 여유(Stability Margin)를 감소시킬 수 있다.

형상 폐쇄(Form Closure)는 마찰에 의존하지 않고 접촉 형상(Contact Geometry)에 의해 물체의 움직임을 방지하는 더욱 강한 기하학적 구속 개념이다. 접촉들은 물체의 모든 미소 운동(Infinitesimal Motion)이 적어도 하나의 단방향 구속조건(Unilateral Constraint)에 의해 차단되도록 배치된다. 따라서 접촉면을 무마찰로 가정하더라도 형상 폐쇄는 유지될 수 있다. 치구(Fixture), 지그(Jig), 포위형 파지(Enveloping Grasp), 높은 수준으로 구속된 다중 접촉 구성(Multi-Contact Configuration)이 이를 직관적으로 보여주는 사례이다.

힘 폐쇄(Force Closure)와 형상 폐쇄(Form Closure)의 차이는 파지 이론에서 매우 중요하다. 힘 폐쇄는 접촉력과 마찰을 활용하여 외란에 대응하지만, 형상 폐쇄는 주로 기하학적 구조를 통해 물체를 고정한다. 파지는 형상 폐쇄 없이도 힘 폐쇄를 달성할 수 있으며, 이는 평행 조 그리퍼(Parallel-Jaw Gripper)와 다지 로봇 손(Multifinger Robotic Hand)에서 일반적으로 나타난다. 형상 폐쇄는 보통 더욱 제한적인 접촉 배치를 요구하지만, 달성할 수 있다면 마찰 특성의 불확실성에 대해 강한 저항성을 제공한다.

두 폐쇄 개념 모두 단방향 접촉(Unilateral Contact)을 고려해야 한다. 일반적인 표면 접촉에서 로봇 손가락은 물체를 밀 수 있지만 표면을 통해 물체를 당길 수는 없다. 따라서 접촉력은 음수가 아닌 법선력 제약조건(Nonnegative Normal-Force Constraint)을 만족해야 한다. 이러한 단순해 보이는 조건은 파지 가능성(Grasp Feasibility)을 근본적으로 결정한다. 폐쇄 분석은 물리적으로 허용되는 밀기 힘의 조합만으로 물체를 구속하거나 안정화하는 데 필요한 렌치 방향들을 생성할 수 있는지를 평가한다.

렌치 공간(Wrench Space)은 이러한 조건을 기하학적으로 해석하는 방법을 제공한다. 각각의 허용 가능한 접촉력은 힘과 토크 성분으로 구성된 대응 렌치를 생성한다. 여러 접촉을 결합하면 파지가 균형을 유지할 수 있는 외란의 범위를 나타내는 파지 렌치 공간(Grasp Wrench Space)이 형성된다. 따라서 계획기는 단순히 폐쇄의 존재 여부만 판단하는 것이 아니라 파지가 불안정 상태로부터 얼마나 떨어져 있는지도 평가할 수 있으며, 이를 통해 파지 평가를 이진 판단에서 정량적인 강건성 문제로 확장할 수 있다.

널리 사용되는 파지 품질(Grasp Quality) 개념 중 하나는 파지 렌치 공간을 벗어나기 전까지 모든 방향에서 저항할 수 있는 최대 외란 렌치를 측정한다. 기하학적으로 이는 원점을 중심으로 하면서 실현 가능한 렌치 영역(Feasible Wrench Region) 내부에 포함되는 구의 반지름과 연관시킬 수 있다. 반지름이 클수록 더 큰 안정성 여유(Stability Margin)를 의미한다. 이러한 품질 척도(Quality Metric)를 이용하면 후보 파지를 단순히 안정 또는 불안정으로 구분하는 대신 상대적인 성능에 따라 순위를 결정할 수 있다.

파지 품질을 폐쇄 조건만으로 완전히 표현할 수는 없다. 실제 계획기는 관절 한계(Joint Limit)까지의 여유, 필요한 손가락 힘(Finger Force), 조작성(Manipulability), 충돌 여유(Collision Clearance), 접근 가능성(Approach Accessibility), 접촉 영역 신뢰성(Contact-Area Reliability), 자세 오차(Pose Error)에 대한 민감도도 평가한다. 수학적으로 우수한 힘 폐쇄 파지라 하더라도 로봇이 충돌 없이 해당 위치에 접근할 수 없거나 작은 인식 오차로 인해 손가락 끝이 목표 표면을 벗어난다면 실제로 사용할 수 없다.

따라서 물체 형상(Object Geometry)은 여러 단계에서 파지 계획에 영향을 준다. 표면 법선은 가능한 접촉 방향을 결정하고, 곡률(Curvature)은 접촉 신뢰성에 영향을 주며, 모서리와 꼭짓점은 유용한 기하학적 구속을 제공하거나 위치 오차에 대한 민감도를 증가시킬 수 있다. 평행 조 그리퍼에서는 대향 파지(Antipodal Grasp)가 특히 중요하다. 서로 마주 보는 두 접촉은 연결 형상과 표면 법선이 안정적인 대향력을 허용하는 마찰 조건을 만족할 때 대향 구성을 형성한다.

대향 파지 분석(Antipodal Grasp Analysis)은 기하학적 추론(Geometric Reasoning)과 힘 폐쇄 이론을 효율적으로 연결한다. 임의의 표면점 조합을 모두 평가하는 대신, 계획기는 표면 법선과 마찰 원뿔이 서로 반대 방향의 힘을 지지할 수 있는 접촉 쌍을 탐색할 수 있다. 후보 생성은 메시(Mesh), 포인트 클라우드(Point Cloud), 깊이 영상(Depth Image), 학습된 물체 표현(Learned Object Representation)을 이용하여 수행할 수 있으며, 이후 그리퍼 폭, 충돌, 도달 가능성, 접근 제약조건을 위반하는 후보를 제거한다.

불확실성(Uncertainty)은 이론적으로 최적인 파지의 의미를 변화시킨다. 추정된 물체 자세에는 병진 및 회전 오차가 존재할 수 있고, 깊이 측정으로 복원된 표면 법선에는 잡음이 포함될 수 있으며, 실제 마찰계수는 명목값과 다를 수 있다. 따라서 강건 파지 계획(Robust Grasp Planning)은 하나의 결정론적 구성만 평가하는 대신 가능한 접촉과 물리 파라미터의 주변 영역을 함께 평가한다. 명목상 품질이 약간 낮더라도 오차에 강한 파지가 실제 환경에서는 취약한 수학적 최적해보다 우수할 수 있다.

작업 요구조건(Task Requirement) 역시 파지 선택을 변화시킨다. 물체를 들어 올리는 데 적합한 파지가 검사(Inspection), 조립(Assembly), 삽입(Insertion), 핸드오버(Handover), 도구 사용(Tool Use)에 필요한 표면을 가릴 수 있다. 따라서 작업 지향 파지 계획(Task-Oriented Grasp Planning)은 파지 이후의 원하는 동작과 상호작용 제약조건을 고려한다. 계획기는 가시성을 유지하거나 기능 표면을 노출하고, 물체를 목표 치구에 정렬하거나 매니퓰레이터의 충분한 조작성을 유지하기 위해 최대 폐쇄 품질을 의도적으로 일부 희생할 수 있다.

현대적인 파지 계획은 해석적 역학(Analytical Mechanics), 최적화(Optimization), 학습(Learning)을 결합한다. 해석적인 폐쇄 검사는 물리적으로 해석 가능한 안정성 기준을 제공하고, 수치 최적화(Numerical Optimization)는 운동학적 제약과 충돌 제약조건 아래에서 거대한 구성 공간을 탐색한다. 데이터 기반 모델(Data-Driven Model)은 RGB-D 영상이나 포인트 클라우드로부터 유망한 파지 자세를 빠르게 제안할 수 있으며, 물리적 신뢰성을 높이기 위해 기하학적 실현 가능성, 접촉 역학, 힘 폐쇄 조건을 이용하여 예측 결과를 필터링하거나 개선할 수 있다.

다지 로봇 손(Multifinger Hand)에서는 손가락 배치, 관절 구성, 내부력(Internal Force), 물체 렌치 생성이 서로 결합되기 때문에 문제가 훨씬 복잡해진다. 중복 접촉(Redundant Contact)은 물체를 가속하지 않으면서 접촉 안정성을 높이는 내부력을 생성할 수 있다. 최적화 방법은 마찰 원뿔, 액추에이터 한계, 요구되는 물체 렌치를 만족하면서 여러 손가락 사이에 힘을 분배할 수 있으며, 이를 통해 단순한 픽앤플레이스(Pick-and-Place)를 넘어서는 정교한 조작(Dexterous Manipulation)이 가능해진다.

따라서 로봇 조작 시스템(Robotic Manipulation System)에서 힘 폐쇄와 형상 폐쇄는 완전한 파지 계획 해법이라기보다 기본적인 이론 모델로 이해해야 한다. 이들은 접촉 배치가 물체를 구속할 수 있는 기계적 능력을 갖추었는지를 규정하며, 상위 수준의 계획은 이러한 배치가 도달 가능하고 강건하며 안전하고 실제 작업에 유용한지를 결정한다. 이러한 계층적 해석은 고전적인 파지 역학(Classical Grasp Mechanics)을 인식 기반(Perception-Driven) 및 학습 기반(Learning-Based) 로봇 조작과 직접 연결한다.

완전한 파지 계획 파이프라인(Grasp-Planning Pipeline)은 물체 표현(Object Representation)과 후보 접촉 생성(Candidate Contact Generation)에서 시작하여 폐쇄 분석(Closure Analysis), 파지 품질 평가(Grasp-Quality Evaluation), 운동학적 실현 가능성(Kinematic Feasibility), 충돌 검사(Collision Checking), 동작 계획(Motion Planning)으로 이어진다. 실제 실행 단계에서는 모델링 오차를 보상하기 위해 센싱(Sensing)과 피드백(Feedback)이 추가된다. 힘, 촉각(Tactile), 비전(Vision), 고유감각(Proprioceptive) 측정을 통해 접촉 형성과 미끄러짐(Slip)을 확인하고, 계획 단계의 가정이 더 이상 유효하지 않을 경우 손가락 힘을 조정하거나 재파지(Regrasp)를 수행할 수 있다.

힘 폐쇄(Force Closure)와 형상 폐쇄(Form Closure) 이론이 지속적으로 중요한 이유는 점점 복잡해지는 로봇 조작 알고리즘의 기반에 명확한 물리적 의미를 제공하기 때문이다. 신경망(Neural Network)이 파지 후보를 생성하는 경우에도 근본적인 문제는 제한된 접촉을 통해 물체의 움직임을 제어하는 것이다. 기하학적 폐쇄(Geometric Closure), 렌치 공간 분석(Wrench-Space Analysis), 불확실성 모델링(Uncertainty Modeling), 최적화, 피드백을 결합함으로써 계산적으로 효율적일 뿐만 아니라 기계적으로 타당하고 실제 환경에서 강건한 파지 계획기를 구축할 수 있다.

05.02. Analytic Grasp Planning for Parallel Jaw Gripper [w/Code]

평행 조 그리퍼(Parallel-Jaw Gripper)를 위한 해석적 파지 계획(Analytic Grasp Planning)은 주로 학습된 사례에 의존하는 대신 명시적인 기하학적 모델(Geometric Model), 운동학적 모델(Kinematic Model), 접촉 역학 모델(Contact-Mechanics Model)을 사용하여 파지 구성을 결정한다. 계획기는 그리퍼 개방 범위, 충돌, 도달 가능성, 마찰 조건을 만족하면서 물체를 안정적으로 구속할 수 있는 서로 마주 보는 두 접촉 영역을 탐색한다. 평행 조 그리퍼는 기계 구조가 단순하므로 고전적인 파지 이론과 실제 로봇 조작을 연결하는 중요한 대상으로 활용된다.

평행 조 그리퍼는 일반적으로 공통의 닫힘 방향(Closing Direction)을 따라 서로를 향해 병진 이동하는 두 개의 손가락으로 구성된다. 따라서 후보 파지(Candidate Grasp)는 그리퍼 자세(Gripper Pose), 개방 폭(Opening Width), 접근 방향(Approach Direction), 예상되는 두 개의 접촉 위치(Contact Location)로 표현할 수 있다. 계획 문제는 정교한 다지 로봇 손(Dexterous Multifinger Hand)에 비해 상당히 작지만, 제한된 운동 방식으로 인해 불규칙한 물체를 안정화하는 데 사용할 수 있는 접촉 구성도 제한된다.

물체 형상(Object Geometry)은 해석적 계획의 주요 입력 정보를 제공한다. 계획기는 CAD 메시(CAD Mesh), 분할된 포인트 클라우드(Segmented Point Cloud), 깊이 복원(Depth Reconstruction), 기본 기하학 모델(Primitive Geometric Model), 부호 거리 표현(Signed Distance Representation) 등을 사용할 수 있다. 두 손가락이 접촉할 수 있는 영역을 식별하기 위해 표면 위치와 표면 법선(Surface Normal)을 추출하며, 국부 곡률(Local Curvature), 모서리, 표면 불연속성, 사용 가능한 여유 공간도 접촉 신뢰성과 충돌 없는 손가락 배치에 영향을 미치므로 중요하다.

대표적인 후보는 두 접촉이 물체의 거의 반대쪽에 위치하면서 서로 반대 방향의 힘을 생성할 수 있는 대향 파지(Antipodal Grasp)이다. 무마찰 접촉(Frictionless Contact)의 경우 접촉 법선은 두 접촉점을 연결하는 선과 매우 정확하게 정렬되어야 한다. 마찰이 존재하면 마찰 원뿔(Friction Cone)에 따라 허용 가능한 힘의 방향 범위가 넓어지므로, 기하학적으로 완벽하게 대칭적이지 않은 접촉 쌍도 안정적인 파지를 형성할 수 있다.

두 후보 접촉점을 p1과 p2라고 하면 이들을 연결하는 벡터는 그리퍼의 대략적인 닫힘 축(Closing Axis)을 정의한다. 이후 표면 법선 n1과 n2를 이 축 및 반대 방향과 비교한다. 두 접촉에서 요구되는 접촉력이 모두 마찰 원뿔 내부에 존재하면 대향 조건(Antipodal Condition)이 만족된다. 이러한 기하학적 검사는 보다 일반적인 힘 폐쇄 분석(Force-Closure Analysis)을 효율적으로 근사하며, 부적절한 접촉 쌍을 초기 단계에서 제거하는 데 널리 사용된다.

쿨롱 마찰(Coulomb Friction)은 완벽한 대향 상태에서 어느 정도까지 방향 편차를 허용할 수 있는지를 결정한다. 마찰계수(Coefficient of Friction)가 μ일 경우 마찰 원뿔의 반각(Half-Angle)은 α = arctan(μ)로 표현할 수 있다. 마찰계수가 클수록 원뿔이 넓어지고 허용되는 접촉 방향의 범위도 증가한다. 실제 마찰은 불확실하므로 실용적인 계획기에서는 예상되는 최대값보다 보수적인 마찰계수를 사용하여 이론적으로 안정적이라고 판단된 파지가 실제 실행 중 실패할 가능성을 줄인다.

그리퍼 폭(Gripper Width)은 또 하나의 직접적인 실현 가능성 제약조건이다. 선택된 접촉면 사이의 거리는 그리퍼의 최소 및 최대 개방 범위 안에 있어야 하며, 법선력을 생성할 수 있도록 충분한 닫힘 운동도 확보되어야 한다. 손가락 두께(Finger Thickness)와 패드 형상(Pad Geometry) 역시 고려해야 한다. 어떤 접촉 쌍이 수학적으로 대향 조건을 만족하더라도 손가락이 물체 주변의 필요한 공간에 물리적으로 진입할 수 없다면 실제 파지는 불가능하다.

후보 생성(Candidate Generation)은 표면점 쌍을 샘플링하고 이들의 기하학적 적합성을 검사하는 방식으로 수행할 수 있다. 그러나 조밀한 메시나 포인트 클라우드에서 가능한 모든 쌍을 평가하면 계산량이 크게 증가한다. 따라서 해석적 계획기는 법선 방향 필터링(Normal-Direction Filtering), 공간 인덱싱(Spatial Indexing), 표면 분할(Surface Segmentation), 복셀 구조(Voxel Structure), 기하학적 휴리스틱(Geometric Heuristic)을 사용하여 탐색 공간을 줄인다. 위치 오차에 강한 넓고 평탄한 영역을 우선적으로 샘플링할 수도 있다.

또 다른 방법은 임의의 점 쌍에서 시작하는 대신 그리퍼 형상(Gripper Geometry)을 기준으로 파지 후보를 구성하는 것이다. 가상 그리퍼(Virtual Gripper)를 물체 주변의 다양한 위치와 방향으로 이동시키고 닫히는 손가락이 교차하게 되는 표면을 조사한다. 이러한 표현은 개방 폭과 손가락 크기를 자연스럽게 고려할 수 있다. 또한 손가락이 닫히는 과정에서 최종 접촉점이 처음 예측한 표면 샘플과 약간 달라지는 경우도 파악할 수 있다.

충돌 검사(Collision Checking)는 필수적이다. 접촉 자체가 가능하다고 해서 그리퍼 전체의 배치가 가능한 것은 아니기 때문이다. 손가락, 손바닥(Palm), 손목(Wrist), 경우에 따라 매니퓰레이터 일부까지 물체, 테이블, 빈(Bin)의 벽, 주변 물체, 환경 구조물과 의도하지 않은 충돌을 일으키지 않아야 한다. 유효한 최종 파지 자세라도 선택된 직선 접근 경로를 통해 도달할 수 없는 경우가 있으므로 최종 파지 자세뿐 아니라 접근 궤적(Approach Trajectory)에 대해서도 충돌 검사를 수행한다.

접근 방향(Approach Direction)은 실제 파지 성공률에 큰 영향을 미친다. 빈이나 수평 작업면에서는 충돌 회피를 단순화할 수 있기 때문에 상향에서 하향으로 접근하는 파지(Top-Down Grasp)가 선호되는 경우가 많다. 반면 길쭉하거나 수직으로 놓인 물체에는 측면 파지(Lateral Grasp)가 더 좋은 접촉 형상을 제공할 수 있다. 해석적 계획기는 환경에 따라 접근 각도를 명시적으로 제한할 수 있으며, 보정 및 인식 오차를 고려하여 접근 벡터 방향으로 추가적인 여유 공간을 확보할 수도 있다.

실현 가능한 후보가 생성되면 파지 품질 척도(Grasp-Quality Metric)를 사용하여 순위를 결정한다. 평행 조 파지에서는 대향 정렬(Antipodal Alignment), 마찰 여유(Friction Margin), 접촉 간격(Contact Separation), 모서리로부터의 거리, 국부 표면 곡률, 그리퍼 여유 공간(Gripper Clearance), 물체 질량중심(Center of Mass)과의 거리 등이 유용한 평가 항목이다. 표면 법선 정렬이 매우 우수한 후보라도 두 접촉이 날카로운 모서리 근처에 존재한다면 작은 자세 오차로 접촉을 잃을 수 있어 바람직하지 않을 수 있다.

질량중심(Center of Mass)은 물체를 들어 올려야 할 때 특히 중요하다. 질량중심에서 멀리 떨어진 파지는 더 큰 중력 토크(Gravitational Torque)를 발생시키므로 물체의 회전이나 미끄러짐을 방지하기 위해 더 큰 힘이 필요하다. 질량 분포를 알고 있다면 계획기는 파지 축과 접촉 중점(Contact Midpoint)이 유리한 기계적 지렛대 효과(Mechanical Leverage)를 제공하는 접촉 쌍을 선호할 수 있다. 질량 분포를 모르는 경우에는 기하학적 중심이나 학습된 질량 추정치를 실용적인 근사값으로 사용할 수 있다.

해석적 안정성(Analytic Stability)은 렌치 분석(Wrench Analysis)을 통해서도 평가할 수 있다. 두 손가락 끝의 접촉력은 물체 기준 좌표계(Object Reference Frame)에 대한 힘과 토크로 변환되어 생성 가능한 물체 렌치(Object Wrench)의 집합을 형성한다. 계획기는 중력과 예상되는 작업 외란이 이 집합 안에 존재하는지를 평가할 수 있다. 전체 렌치 공간(Full Wrench Space)의 계산은 단순한 대향 조건 검사보다 많은 계산을 요구하지만 어려운 파지의 순위를 결정하는 데 더욱 강한 물리적 근거를 제공한다.

자세 불확실성(Pose Uncertainty)도 반드시 고려해야 한다. 계획에 사용되는 물체 모델이 실제 물체와 완벽하게 일치하는 경우는 드물기 때문이다. 병진, 회전, 깊이 측정, 분할, 카메라 보정(Camera Calibration)의 오차는 실제 접촉 위치를 예측 위치에서 이동시킨다. 강건 해석 계획(Robust Analytic Planning)은 물체 자세에 작은 변화를 적용했을 때도 파지가 실현 가능한지를 평가한다. 좁은 조건에 최적화된 구성보다 넓은 평면 접촉과 충분한 충돌 여유를 가진 구성이 선호되는 경우가 많다.

포인트 클라우드에서 직접 계획할 경우 표면 법선 불확실성(Surface-Normal Uncertainty)도 중요하다. 희소하거나 잡음이 많은 깊이 측정으로부터 추정한 법선은 주변 영역의 크기나 센서 관측 방향에 따라 크게 달라질 수 있다. 계획기는 신뢰성이 낮은 영역을 제거하거나 국부 패치(Local Patch)에서 법선을 평균화하거나 가능한 법선 방향 범위를 평가할 수 있다. 이를 통해 작은 복원 오차가 대향 조건 판정과 파지 순위에 큰 변화를 발생시키는 것을 방지할 수 있다.

도달 가능성(Reachability)을 고려하면 파지 계획 문제에 매니퓰레이터가 포함된다. 기하학적으로 유효한 그리퍼 자세는 역기구학(Inverse Kinematics), 관절 한계, 작업 공간 제약조건을 만족하는 최소 하나의 로봇 관절 구성을 가져야 한다. 일부 후보는 기술적으로 도달 가능하더라도 로봇 팔을 특이점(Singularity)이나 관절 경계 근처에 배치할 수 있다. 따라서 조작성(Manipulability)과 관절 구성 여유(Configuration Margin)를 파지 점수에 포함하여 이후 동작을 안정적으로 수행할 수 있는 자세를 선호할 수 있다.

작업 지향 제약조건(Task-Oriented Constraint)은 후보 선택을 더욱 구체화한다. 빈에서 물체를 꺼내는 작업에서는 인출 여유(Extraction Clearance)가 중요하지만 조립 작업에서는 삽입을 위해 물체를 특정 방향으로 유지해야 할 수 있다. 핸드오버(Handover)에 사용되는 파지는 사람이 잡아야 할 영역을 피해야 하며, 검사 작업에서는 중요한 표면이 가려지지 않아야 한다. 해석적 계획은 이러한 요구조건을 기하학적 제약조건 또는 추가적인 점수 항목으로 표현할 수 있다.

복잡하게 물체가 배치된 환경(Cluttered Environment)에서는 파지 계획과 물체 인출(Object Extraction)을 완전히 분리할 수 없다. 주변 물체가 손가락의 배치를 방해하거나 선택한 물체가 계획된 인출 경로를 따라 이동하는 것을 차단할 수 있기 때문이다. 따라서 계획기는 그리퍼와 파지된 물체가 이동하면서 차지하는 스윕 체적(Swept Volume)을 평가할 수 있다. 정적인 파지 품질이 약간 낮더라도 방해받지 않는 인출 경로를 가진 파지가 주변 물체에 갇힌 최고 품질 파지보다 훨씬 유용할 수 있다.

계산 파이프라인(Computational Pipeline)은 일반적으로 물체 분할(Object Segmentation) 또는 모델 정합(Model Registration)에서 시작하여 표면 분석과 후보 접촉 생성으로 이어진다. 대향 조건과 마찰 검사를 통해 역학적으로 유효하지 않은 접촉 쌍을 제거하고, 그리퍼 폭과 충돌 검사를 통해 기하학적으로 불가능한 구성을 제거한다. 남은 후보는 도달 가능성, 안정성, 강건성, 작업 적합성에 따라 평가되며, 마지막으로 동작 계획(Motion Planning)을 통해 실행 가능한 접근 및 후퇴 궤적(Retreat Trajectory)을 선택한다.

효율적인 구현에서는 계층적 필터링(Hierarchical Filtering)을 사용하는 경우가 많다. 계산 비용이 낮은 기하학적 검사를 먼저 수천 개의 후보에 적용하고, 비용이 높은 충돌 검사, 역기구학, 렌치 공간, 궤적 평가 등은 살아남은 소수의 후보에만 적용한다. 모든 가능한 파지에 대해 고정밀 평가를 수행할 필요가 없으므로 이러한 순서는 실시간 로봇 조작(Real-Time Manipulation)에서 중요하다. 핵심은 명백히 좋지 않은 후보를 가능한 한 빠르게 제거하면서 유망한 후보는 보존하는 것이다.

실행(Execution)은 해석적 가정과 실제 물리 환경 사이의 차이를 보완한다. 위치 제어(Position Control)는 그리퍼를 예측된 파지 자세로 이동시키지만 힘, 모터 전류(Motor Current), 촉각, 비전 피드백을 통해 두 손가락이 실제로 접촉했는지를 확인할 수 있다. 예상보다 빠른 접촉은 자세 오차를 의미할 수 있으며, 비대칭적인 손가락 움직임은 물체 위치의 편차를 나타낼 수 있다. 실행이 계획과 달라지면 제어기는 닫힘 힘을 조정하거나 동작을 정지하거나 새로운 파지를 요청할 수 있다.

학습 기반 파지 검출(Learning-Based Grasp Detection)의 성능이 지속적으로 향상되고 있음에도 해석적 평행 조 파지 계획은 여전히 중요한 가치를 가진다. 기하학적·기계적 제약조건은 해석 가능하며, 작업별 대규모 학습 데이터가 거의 필요하지 않고, 안전 및 하드웨어 제한을 명시적으로 적용할 수 있다. 실제 시스템에서는 학습 모델이 유망한 자세를 빠르게 생성하고 해석적 검사가 실행 전에 대향 형상, 충돌 여유, 도달 가능성, 물리적 타당성을 검증하는 방식으로 결합할 수 있다.

이러한 하이브리드 관점(Hybrid Perspective)은 불확실한 인식과 복잡한 환경에 대응하면서 고전적인 파지 역학(Classical Grasp Mechanics)의 장점을 유지한다. 따라서 평행 조 파지 계획은 단순히 서로 반대되는 두 점을 찾는 문제가 아니다. 접촉 형상, 마찰, 그리퍼 치수, 물체 역학, 로봇 운동학, 환경 여유 공간, 불확실성, 작업 목적을 통합적으로 평가하는 문제이다. 해석적 추론(Analytic Reasoning)은 이러한 요소들을 실제 실행 가능하고 강건한 로봇 파지로 변환하기 위한 물리적 구조를 제공한다.

05.03. GraspIt Physics Based Grasp Synthesis [w/Code]

GraspIt!은 손 형상(Hand Geometry), 물체 형상(Object Geometry), 접촉 역학(Contact Mechanics), 파지 품질(Grasp Quality)의 명시적인 모델을 통해 로봇 파지를 연구하도록 설계된 시뮬레이션 환경(Simulation Environment)이다. 파지 생성을 단순한 자세 예측(Pose Prediction) 문제로 취급하는 대신 로봇 손과 물체 사이의 물리적 상호작용을 표현한다. 따라서 손가락 구성, 접촉 위치, 마찰, 힘 전달이 물체의 물리적 안정성을 어떻게 결정하는지 연구하는 데 유용하다.

일반적인 GraspIt! 작업 흐름(Workflow)은 로봇 손과 대상 물체의 기하학적 모델을 공통 시뮬레이션 환경에 불러오는 것에서 시작한다. 손 모델은 링크(Link), 관절(Joint), 자유도(Degree of Freedom), 관절 한계(Joint Limit), 충돌 형상(Collision Geometry)을 기술하고, 물체 모델은 접촉 가능한 표면을 표현한다. 이후 손과 물체 사이의 상대 자세(Relative Pose)가 파지 상태(Grasp State)를 정의하며, 이를 기반으로 충돌 검출, 접촉 형성, 힘 분석, 품질 평가를 수행한다.

물리 기반 파지 합성(Physics-Based Grasp Synthesis)은 시각적으로 그럴듯한 손 자세를 선택하는 것과 근본적으로 다르다. 후보 파지는 기하학적 접근 가능성을 만족하면서 외란(Disturbance)에 저항할 수 있는 접촉을 생성해야 한다. 따라서 파지 합성은 손의 전역 자세(Global Pose)와 내부 관절 구성(Internal Joint Configuration)을 모두 포함하는 구성 공간(Configuration Space)을 탐색한다. 정교한 다지 손(Dexterous Hand)에서는 이 공간이 매우 커질 수 있으므로 실용적인 계산 시간 안에 유용한 파지를 발견하기 위한 효율적인 탐색 전략이 필수적이다.

접촉 검출(Contact Detection)은 기하학과 역학을 연결한다. 손가락이 물체를 향해 움직이면 시뮬레이터는 링크와 물체 표면이 만나는 위치를 결정하고 관련 접촉 위치(Contact Location)와 법선(Normal)을 추정한다. 이러한 접촉은 힘이 전달될 수 있는 방향을 정의한다. 접촉 모델에 따라 마찰에 의한 접선력(Tangential Force)과 제한적인 모멘트(Moment)도 표현할 수 있으므로 실제 물리적 의미를 갖는 힘과 렌치(Wrench) 제약조건을 통해 파지를 분석할 수 있다.

마찰(Friction)은 일반적으로 쿨롱 마찰 모델(Coulomb Friction Model)을 사용하여 표현한다. 각각의 접촉에서 허용되는 접선력은 압축 법선력(Compressive Normal Force)에 비례하여 제한되며 표면 법선을 중심으로 마찰 원뿔(Friction Cone)을 형성한다. 계산 분석에서는 연속적인 원뿔을 유한한 기본 힘 방향(Primitive Force Direction) 집합으로 근사할 수 있다. 이후 각각의 기본 접촉력은 힘과 토크(Torque)를 모두 포함하는 물체 렌치(Object Wrench)로 변환된다.

파지 맵(Grasp Map)은 접촉력을 물체에 작용하는 순 렌치(Net Wrench)로 변환한다. 접촉력들을 벡터 f로 모으면 물체 렌치는 개념적으로 w = Gf로 표현할 수 있으며, 여기서 G는 접촉 위치, 접촉 방향, 물체 기준 좌표계(Object Reference Frame)에 의해 결정된다. 이러한 표현을 이용하면 손가락의 접촉들이 물체를 병진 또는 회전시키려는 힘과 토크를 집합적으로 상쇄할 수 있는지 분석할 수 있다.

힘 폐쇄(Force Closure)는 물리 기반 파지 평가(Physics-Based Grasp Evaluation)에 사용되는 핵심 기준 중 하나이다. 힘 폐쇄 파지는 가정된 접촉 모델 안에서 임의의 외부 렌치 방향에 저항할 수 있는 허용 접촉력을 생성할 수 있다. 기하학적으로 기본 접촉 렌치들은 렌치 공간(Wrench Space)에 하나의 영역을 생성하며, 힘 폐쇄는 이 영역이 원점을 적절하게 포함하는 조건과 관련된다. 이는 단순히 물체와 접촉하는 상태와 물체를 기계적으로 구속하는 상태를 구분할 수 있는 물리적으로 해석 가능한 기준을 제공한다.

파지 품질(Grasp Quality)은 힘 폐쇄를 이진적인 판정에서 순위 평가 기준으로 확장한다. 대표적인 척도 중 하나는 파지가 생성 가능한 렌치 공간의 경계에 도달하게 만드는 가장 취약한 외란 방향의 크기를 측정한다. 최소 여유(Minimum Margin)가 클수록 일반적으로 여러 방향에서 더 강한 외란을 견딜 수 있다. 이러한 렌치 공간 품질 척도(Wrench-Space Quality Metric)를 사용하면 수천 개의 후보 손 구성을 공통된 기계적 기준으로 비교할 수 있다.

그러나 품질 평가는 주의해서 해석해야 한다. 높은 렌치 공간 점수는 마찰, 접촉 정확도, 사용 가능한 손가락 힘, 물체 형상에 관한 가정에 의존한다. 실제 마찰계수가 모델과 다르거나 물체 자세가 부정확하면 시뮬레이션에서 얻은 최적해가 실제 로봇에서는 취약할 수 있다. 따라서 물리 기반 합성은 품질 척도를 절대적인 성공 보장으로 취급하기보다 실제적인 강건성(Robustness)을 함께 고려할 때 가장 유용하다.

전체 손 구성 공간(Hand Configuration Space)을 직접 탐색하는 것은 일반적으로 비현실적이다. 다지 손은 물체에 대한 손의 상대 자세를 나타내는 6개의 차원 외에도 많은 관절을 포함할 수 있다. GraspIt!은 후보 구성을 탐색하고 그 품질을 평가하는 탐색 메커니즘(Search Mechanism)을 통해 이러한 문제를 다룬다. 접근 방향을 제한하거나 손가락 관절을 연동하고, 손 자세(Hand Posture)를 도입하거나 내부 구성 공간의 차원을 줄이면 탐색 효율성을 향상시킬 수 있다.

모의 담금질(Simulated Annealing)은 GraspIt!의 파지 계획과 밀접하게 연관된 탐색 방법으로, 많은 국소 최적해(Local Optimum)를 포함하는 복잡한 파지 공간을 탐색하는 메커니즘을 제공한다. 손의 자세나 손가락 구성을 변경하여 후보 상태를 교란한 후 에너지 함수(Energy Function) 또는 품질 함수를 사용해 새로운 상태의 우수성을 판단한다. 일시적으로 더 나쁜 상태를 일정한 조건에서 허용함으로써 국소 최솟값에서 벗어나 다른 영역을 탐색하고 점진적으로 더 우수한 파지 후보에 집중할 수 있다.

에너지 함수(Energy Function)는 탐색 과정과 물리적인 파지 품질을 연결하는 역할을 한다. 계획 전략에 따라 손과 물체 사이의 거리, 접촉 형성, 정렬(Alignment), 충돌, 힘 폐쇄, 렌치 공간 품질과 관련된 항들을 포함할 수 있다. 좋지 않은 구성에는 불리한 에너지 값이 부여되고, 기계적으로 유용한 접촉 구성에 가까워질수록 더 유리한 상태가 된다. 에너지 지형(Energy Landscape)의 설계는 탐색이 의미 있는 파지로 얼마나 효율적으로 수렴하는지에 큰 영향을 미친다.

사전 파지 상태(Pregrasp State)는 로봇이 손가락을 닫기 전에 물체에 접근해야 하기 때문에 중요하다. 최종 파지가 매우 높은 접촉 품질을 가지더라도 초기 손 자세가 물체나 주변 환경과 교차한다면 실제로 접근할 수 없다. 따라서 물리 기반 합성에서는 열린 손 상태의 사전 파지 구성과 최종적으로 닫힌 파지 구성을 구분할 수 있다. 두 상태 사이의 전이는 제안된 파지가 실제적인 손가락 움직임을 통해 실행 가능한지를 판단하는 정보를 제공한다.

충돌 검출(Collision Detection)은 이러한 기하학적 추론에 통합된다. 로봇 손 내부의 자기 충돌(Self-Collision), 의도하지 않은 손과 물체의 관통, 비접촉 손 표면의 충돌은 유망해 보이는 상태를 무효화할 수 있다. 실제 로봇 조작에서는 이후의 동작 계획(Motion Planning)을 통해 주변 환경의 장애물도 고려해야 한다. 따라서 유용한 파지 후보는 강한 접촉뿐 아니라 손바닥, 손가락, 손목, 접근 궤적을 위한 충분한 기하학적 여유 공간을 가져야 한다.

손 운동학(Hand Kinematics)은 파지 합성에 추가적인 제약조건을 부여한다. 모든 접촉 구성은 관절 한계와 기계적 연동 관계(Mechanical Coupling Relationship) 안에서 실제로 구현 가능해야 한다. 관절값은 손가락 끝의 위치와 표면 방향을 결정하고 전역 손 자세는 손가락 끝이 물체에 접근하는 방식을 결정한다. 손 자세와 손가락 관절 운동 사이의 이러한 결합은 전체 손 물리 기반 합성을 단일 그리퍼 자세와 개방 폭에 주로 의존하는 단순한 평행 조 파지 검출(Parallel-Jaw Grasp Detection)과 구별한다.

파지 시너지(Grasp Synergy)는 정교한 손 계획의 차원을 줄일 수 있다. 인간형 로봇 손(Human-Like Robotic Hand)은 모든 관절을 독립적으로 제어하는 대신 더 적은 수의 주요 자세 변수(Principal Posture Variable)로 표현할 수 있는 협응된 손가락 움직임을 보이는 경우가 많다. 시너지 공간(Synergy Space)에서 탐색하면 유용한 파지 계열을 유지하면서 계산 복잡도를 크게 줄일 수 있다. 이후 생성된 후보를 전체 관절 구성으로 확장하여 상세한 충돌 및 접촉 평가를 수행할 수 있다.

물체 형상(Object Shape)은 생성되는 파지 계열에 큰 영향을 준다. 원통형 물체는 자연스럽게 감싸기 파지(Wrap Grasp) 또는 대향 손가락 파지를 지원하고, 얇은 물체는 핀치 파지(Pinch Grasp)에 적합하며, 불규칙한 물체는 여러 표면에 분산된 접촉이 필요할 수 있다. 기하학 및 기계 모델이 충분히 상세하다면 물리 기반 합성에서 이러한 범주를 명시적으로 지정할 필요는 없다. 대신 손 구조, 물체 형상, 탐색 제약조건, 품질 함수의 상호작용을 통해 다양한 파지 유형이 자연스럽게 생성될 수 있다.

질량중심(Center of Mass)과 예상되는 외부 하중(External Loading)도 파지 선택에 영향을 줄 수 있다. 일반적인 힘 폐쇄를 달성한 파지라도 무거운 물체를 들어 올리거나 작업별 렌치를 가할 때 성능이 좋지 않을 수 있다. 중력 또는 예상되는 외란 방향을 포함하면 추상적인 등방성 외란 모델(Isotropic Disturbance Model)이 아니라 실제 조작 작업을 기준으로 후보를 평가할 수 있다. 이는 도구 사용, 삽입, 운반과 같이 하중 방향을 예측할 수 있는 작업에서 특히 유용하다.

합성된 파지를 시뮬레이션에서 실제 하드웨어로 이전할 때 모델 정확도(Model Accuracy)가 매우 중요해진다. 메시 해상도, 충돌 형상, 관절 보정(Joint Calibration), 손가락 끝의 순응성(Compliance), 마찰계수, 물체 자세는 모두 시뮬레이션 접촉과 실제 접촉 사이의 차이에 영향을 미친다. 작은 기하학적 오차로도 손가락이 예상보다 일찍 접촉하거나 좁은 표면을 완전히 놓칠 수 있다. 따라서 강건한 전이를 위해서는 지나치게 정밀한 기하학적 최적해보다 충분한 접촉 및 여유 공간 마진을 가진 파지가 유리하다.

인식(Perception)은 로봇이 완벽한 CAD 모델 대신 RGB-D 데이터로부터 복원된 물체를 다룰 수 있기 때문에 또 다른 불확실성 계층을 추가한다. 표면 잡음과 불완전한 관측은 충돌 형상과 추정된 표면 법선에 영향을 미친다. 실제 파이프라인에서는 알려진 물체 모델을 센서 데이터에 정합하거나 표면 표현을 복원하고, 또는 여러 자세 가설(Pose Hypothesis)을 생성한 후 후보 파지에 물리 기반 평가를 적용할 수 있다.

GraspIt!은 특히 오프라인 분석(Offline Analysis)과 데이터셋 생성(Dataset Generation) 도구로서 높은 가치를 가진다. 많은 물체와 손의 조합을 실제 하드웨어에서 실행하기 전에 시뮬레이션하고 탐색하며 점수를 부여할 수 있다. 생성된 파지는 학습 기반 파지 시스템을 위한 기준 해법(Reference Solution), 학습 예제(Training Example), 평가 데이터(Evaluation Data)로 활용될 수 있다. 물리 기반 레이블(Physics-Based Label)은 예측 자세와 시연 자세의 시각적 유사성만으로는 얻기 어려운 접촉 및 기계적 품질 정보를 제공한다.

이러한 특성은 고전적인 시뮬레이션과 현대적인 학습 기반 로봇 조작(Learning-Based Manipulation)을 자연스럽게 연결한다. 신경망 모델(Neural Model)은 영상이나 포인트 클라우드에서 파지 자세를 빠르게 제안할 수 있고, 물리 기반 엔진은 그중 소수의 후보를 충돌, 접촉, 렌치 기준으로 평가하거나 개선할 수 있다. 반대로 시뮬레이션 기반 파지 합성은 이후 빠른 추론(Inference)을 수행하는 모델을 위한 지도 데이터(Supervision)를 생성할 수 있으므로 두 접근 방식은 서로 대체하기보다 상호 보완적으로 활용될 수 있다.

완전한 시스템에서는 GraspIt! 방식의 합성을 오프라인으로 수행하여 알려진 물체에 대한 고품질 파지 라이브러리(Grasp Library)를 생성할 수 있다. 실제 운용 중에는 인식 시스템이 물체의 종류와 자세를 추정하고 적절한 후보를 검색한 뒤 로봇 좌표계로 변환하고 현재의 장애물 및 도달 가능성에 따라 필터링한다. 이후 동작 계획이 접근 궤적을 선택하며 힘 또는 촉각 피드백을 이용하여 시뮬레이션 모델과 실제 환경 사이에 남아 있는 오차를 보상한다.

알려지지 않았거나 변화가 큰 물체의 경우 온라인 탐색(Online Search)은 관측된 표면에서 직접 생성된 기하학적 후보로부터 시작할 수 있다. 물리 기반 평가는 불안정하거나 충돌 가능성이 높은 구성을 제거하고, 저차원 탐색(Reduced-Dimensional Search)이나 학습 기반 초기화(Learned Initialization)는 계산 비용을 제한할 수 있다. 이러한 하이브리드 구조는 새롭게 관측되는 모든 물체에 대해 전체 손 구성 공간을 완전 탐색하지 않으면서도 명시적인 기계적 추론을 유지한다.

GraspIt!의 더 넓은 중요성은 그것이 표현하는 문제 정의에 있다. 파지는 기하학, 운동학, 접촉 역학, 최적화(Optimization), 작업 제약조건(Task Constraint)이 결합된 문제이다. 성공적인 파지는 단순히 시각적으로 자연스러운 손 자세가 아니라 도달 가능하고 충돌이 없으면서 유용한 힘과 토크를 생성할 수 있는 물리적으로 실현 가능한 상태여야 한다. 이러한 문제 정의는 최신 파지 생성 방법을 평가하기 위한 엄밀한 기반을 지속적으로 제공한다.

따라서 물리 기반 파지 합성은 최종 배포 시스템이 더 빠른 학습 모델에 의존하는 경우에도 로봇 조작 연구에서 중요한 구성요소로 남는다. 명시적인 접촉 및 렌치 추론은 특정 파지가 성공해야 하는 이유를 해석 가능한 형태로 제공하고, 시뮬레이션은 반복적인 하드웨어 실험 없이 체계적인 탐색을 가능하게 하며, 최적화는 손 설계, 물체 형상, 파지 안정성 사이의 관계를 드러낸다. 이러한 능력의 결합을 통해 GraspIt! 방식의 계획은 고전적인 파지 이론(Classical Grasp Theory)과 데이터 기반 로봇 조작(Data-Driven Robotic Manipulation)을 연결하는 중요한 가교 역할을 한다.

05.04. GQ CNN Data Driven Grasp Quality [w/Code]

GQ-CNN(Grasp Quality Convolutional Neural Network)은 깊이 기반 관측(Depth-Based Observation)으로부터 후보 로봇 파지(Candidate Robotic Grasp)가 성공할 가능성을 예측하기 위한 데이터 기반 프레임워크(Data-Driven Framework)이다. 실행 과정에서 명시적인 접촉 형상과 마찰 모델만으로 파지 품질(Grasp Quality)을 계산하는 대신, 네트워크는 대규모 레이블 데이터로부터 국부적인 물체 형상, 후보 파지 파라미터, 확률적 파지 품질 점수 사이의 매핑 관계를 학습한다.

핵심 개념은 파지 평가(Grasp Evaluation)를 지도 학습(Supervised Learning) 문제로 표현하는 것이다. 학습 샘플은 물체 형상에 대한 관측 정보와 후보 파지, 그리고 이에 대응하는 성공 또는 강건성 레이블(Robustness Label)을 포함한다. 합성곱 신경망(Convolutional Neural Network)은 안정적인 파지와 연관된 시각적 특징을 학습하여 이전에 관측하지 않은 입력에 대해서도 빠르게 품질을 추정한다. 이를 통해 비용이 높은 물리적 추론은 데이터셋 생성과 오프라인 학습으로 이동하고 온라인 추론(Inference)은 상대적으로 효율적으로 수행할 수 있다.

깊이 센싱(Depth Sensing)은 파지가 물체의 색상이나 질감보다 표면 형상에 크게 의존하기 때문에 이러한 문제 정의에 특히 적합하다. 깊이 영상(Depth Image)은 가시 영역의 거리와 형상 정보를 직접 표현하여 경계, 평면 영역, 곡률, 기하학적 불연속성을 파악할 수 있게 한다. 따라서 GQ-CNN 방식의 시스템은 깊이 관측을 활용하면서 RGB 영상만 사용하는 방법보다 조명, 표면 외관, 질감 변화에 대한 민감도를 줄일 수 있다.

평행 조 그리퍼(Parallel-Jaw Gripper)의 경우 후보 파지는 위치(Position), 방향(Orientation), 그리퍼 개방 폭(Gripper Opening), 관측된 물체에 대한 깊이(Depth)로 파라미터화할 수 있다. 전체 카메라 영상에서 모든 후보를 독립적으로 처리하는 대신 제안된 파지 방향에 정렬된 국부 깊이 영역(Local Depth Region)을 추출하거나 변환할 수 있다. 이러한 파지 중심 표현(Grasp-Centered Representation)은 유사한 접촉 형상이 네트워크 입력에서 비슷한 방향으로 나타나도록 하여 학습을 단순화한다.

네트워크는 기하학적 영상 정보와 파지 관련 파라미터를 함께 입력받아 파지 강건성 또는 성공 가능성을 추정한다. 합성곱 계층(Convolutional Layer)은 깊이 표현에서 공간적 특징(Spatial Feature)을 추출하며, 추가적인 네트워크 구성요소를 통해 파지 깊이나 기타 스칼라 파라미터를 포함할 수 있다. 학습된 표현은 서로 마주 보는 표면, 충분한 여유 공간, 안정적인 접촉 영역, 불리한 모서리와 같은 패턴을 서로 다른 수준의 예측 파지 품질과 연관시킨다.

주요 과제 중 하나는 충분한 양의 레이블이 포함된 파지 예제를 확보하는 것이다. 실제 로봇을 이용하여 데이터를 수집하려면 막대한 수의 파지 시도가 필요하며 비용과 시간이 많이 소요되고 하드웨어가 손상될 가능성도 있다. 따라서 GQ-CNN 연구에서는 물체 모델, 후보 파지, 물리 파라미터, 해석적 강건성 기준(Analytical Robustness Criterion)을 활용하여 모든 예제를 실제 로봇으로 실행하지 않고도 대규모 학습 데이터셋을 생성하는 합성 데이터 생성(Synthetic Data Generation)이 중요하다.

합성 파지 생성(Synthetic Grasp Generation)은 일반적으로 3차원 물체 모델에서 시작한다. 물체 표면 주변에서 후보 그리퍼 자세를 샘플링한 후 기하학적·기계적 검사를 통해 접촉이 강건한 파지를 제공하는지 추정한다. 레이블은 힘 폐쇄 추론(Force-Closure Reasoning), 마찰 가정, 자세 교란(Pose Perturbation), 기타 해석적 척도로부터 생성할 수 있다. 이렇게 생성된 데이터셋은 렌더링 또는 시뮬레이션된 센서 관측과 물리적 근거를 가진 파지 품질 목표값을 연결한다.

도메인 무작위화(Domain Randomization)와 불확실성 모델링(Uncertainty Modeling)은 합성 학습 데이터가 실제 센싱과 로봇 조작을 완벽하게 재현할 수 없기 때문에 중요하다. 데이터 생성 과정에서 물체 자세, 카메라 시점, 깊이 잡음, 마찰 및 기타 파라미터를 변화시킬 수 있다. 이러한 다양한 조건을 포함하여 학습하면 네트워크가 하나의 이상적인 시뮬레이션 구성만 기억하는 대신 일정한 조건 범위에서 유효한 파지 특징을 학습할 수 있다.

강건한 파지 레이블링(Robust Grasp Labeling)은 명목상의 파지가 힘 폐쇄를 만족하는지만 판단하는 것에서 더 확장된다. 후보 파지는 물체 자세, 그리퍼 자세, 마찰계수, 접촉 위치 등의 변동 조건에서 시험할 수 있다. 이후 안정성이 유지되는 확률 또는 빈도를 품질값에 반영할 수 있다. 이러한 방식은 불확실성에 대한 허용 범위가 큰 파지에 명시적으로 높은 평가를 부여하므로 시뮬레이션의 예측을 실제 로봇으로 이전하는 데 중요하다.

실행 시 시스템은 먼저 작업 공간의 깊이 영상을 획득하고 파지가 가능한 영역을 식별한다. 후보 파지는 샘플링 또는 구조화된 탐색(Structured Search)을 통해 생성되고 네트워크가 요구하는 표현으로 변환된 후 GQ-CNN에 의해 평가된다. 신경망 추론은 모든 후보에 대해 상세한 물리 시뮬레이션을 수행하는 것보다 훨씬 빠르므로 많은 수의 가능성을 평가한 뒤 가장 유망한 파지를 선택할 수 있다.

강력한 품질 예측 네트워크가 존재하더라도 후보 생성(Candidate Generation)은 여전히 중요하다. GQ-CNN은 제안된 파지를 평가하는 것이므로 행동 공간(Action Space)을 탐색할 필요 자체를 제거하지는 않는다. 잘못된 샘플링 전략을 사용하면 시스템이 우수한 파지를 처음부터 후보로 고려하지 못할 수 있다. 따라서 실제 구현에서는 파지 품질 예측을 효율적인 샘플링, 기하학적 제약조건, 충돌 추론(Collision Reasoning), 또는 파지 구성 공간의 유망한 영역에 평가를 집중시키는 최적화 절차와 결합한다.

Dex-Net은 GQ-CNN 기반 파지의 발전과 밀접하게 관련되어 있다. 더 넓은 Dex-Net 프레임워크는 합성 물체 모델, 해석적 파지 척도, 시뮬레이션된 센서 관측, 학습을 사용하여 강건한 로봇 파지를 위한 대규모 데이터셋을 구축한다. 이 프레임워크에서 GQ-CNN은 센서 관측과 후보 파지 구성으로부터 계산 비용이 높은 파지 품질 계산을 직접 근사할 수 있는 메커니즘을 제공한다.

해석적 파지 품질(Analytic Grasp Quality)과 학습된 파지 품질(Learned Grasp Quality)의 차이는 중요하다. 해석적 방법은 알려진 모델에 대해 접촉 형상, 마찰 원뿔, 렌치 공간, 안정성 조건을 명시적으로 계산한다. 반면 GQ-CNN은 이러한 추론 또는 실제 실험 결과에서 생성된 관측과 레이블 사이의 통계적 관계를 학습한다. 따라서 학습 모델은 파지를 빠르게 평가할 수 있지만 신뢰성은 학습 데이터 분포의 범위와 타당성에 크게 의존한다.

보지 못한 물체(Unseen Object)에 대한 일반화(Generalization)는 이 접근법의 주요 목적 중 하나이다. 물체의 정체성을 암기하고 사전에 정의된 파지를 검색하는 대신 네트워크는 성공적인 평행 조 접촉과 관련된 국부 기하학 구조(Local Geometric Structure)를 학습할 수 있다. 처음 접하는 물체라도 학습 데이터에서 나타난 패턴과 유사한 대향 표면, 적절한 모서리, 안정적인 접촉 영역을 포함할 수 있으므로 기하학적 분포가 충분히 유사하다면 물체 범주에 독립적인 파지가 가능하다.

그러나 일반화에는 한계가 존재한다. 투명하거나 반사성이 높은 물체, 매우 얇은 물체, 변형 가능한 물체(Deformable Object), 관절형 물체(Articulated Object), 매우 특이한 형상의 물체는 학습 분포에서 벗어난 깊이 관측을 생성할 수 있다. 센서 인공물(Sensor Artifact) 역시 잘못된 형상을 만들 수 있다. 따라서 높은 예측 점수를 실제 성공의 보장으로 해석해서는 안 되며 신뢰도 보정(Confidence Calibration), 기하학적 검증, 충돌 검사, 실행 피드백을 함께 사용하는 것이 중요하다.

충돌 추론은 국부적인 파지 패치가 매우 우수해 보이더라도 전체 그리퍼가 테이블, 빈, 주변 물체 또는 대상 물체의 다른 부분과 충돌할 수 있기 때문에 특히 중요하다. 필요한 경우 후보 평가에는 네트워크의 국부 입력 범위를 넘어서는 환경 형상(Environment Geometry)이 포함되어야 한다. 실제 시스템에서는 명백하게 충돌하는 파지를 먼저 제거하고 GQ-CNN으로 품질 순위를 결정한 뒤 상위 후보에 대해 더욱 상세한 충돌 및 동작 검사를 적용할 수 있다.

로봇 도달 가능성(Robot Reachability)은 국부적인 파지 품질만으로 완전히 표현되지 않는 또 다른 제약조건이다. 후보 접촉의 예측 품질이 매우 높더라도 불가능한 손목 방향을 요구하거나 매니퓰레이터를 특이점(Singularity) 근처에 배치할 수 있다. 따라서 선택된 파지를 카메라 좌표계에서 로봇 좌표계로 변환하고 실행 전에 역기구학(Inverse Kinematics), 관절 한계, 조작성(Manipulability), 동작 계획 제약조건을 이용하여 검사해야 한다.

품질 점수(Quality Score)는 각각의 후보를 독립적으로 순위화하는 데만 사용하지 않고 최적화(Optimization)에 포함할 수도 있다. 초기에는 넓은 범위에서 샘플링한 후 높은 점수를 가진 영역을 중심으로 파지 위치, 각도, 깊이를 변화시키면서 탐색을 집중할 수 있다. 반복적인 평가 과정에서 학습된 품질 함수가 목적 함수(Objective Function)의 역할을 수행한다. 이를 통해 매우 조밀한 파지 구성 집합 전체를 균일하게 평가하는 것보다 효율적인 탐색이 가능하다.

학습 품질은 데이터셋 다양성(Dataset Diversity)에 크게 의존한다. 물체 라이브러리는 네트워크가 다양한 접촉 형상을 경험할 수 있도록 크기, 형태, 곡률, 두께, 표면 구조에서 충분한 변화를 포함해야 한다. 학습 물체가 제한된 형태만 포함하면 모델은 새로운 환경에서 실패하는 지름길 특징(Shortcut Feature)을 학습할 수 있다. 센서 구성, 물체 자세, 파지 파라미터의 다양성도 강건한 실제 적용을 위해 중요하다.

클래스 불균형(Class Imbalance)은 무작위로 생성된 후보 파지에서 고품질 성공 사례보다 실패 사례가 훨씬 많거나, 반대로 필터링 과정에서 특정 품질 범주가 과도하게 남을 때 발생할 수 있다. 학습 과정에서는 모델이 지배적인 클래스만 예측하는 대신 전체 품질 범위에서 의미 있는 차이를 학습하도록 해야 한다. 샘플링 전략, 가중치 부여(Weighting), 균형 배치(Balanced Batch), 신중하게 설계된 연속 품질 목표값 등을 통해 합성 파지 데이터셋으로부터 얻는 정보를 향상시킬 수 있다.

시뮬레이션-실세계 전이(Sim-to-Real Transfer)는 데이터 기반 파지 품질 예측의 핵심적인 과제이다. 합성 깊이 렌더링은 일반적으로 실제 깊이 측정보다 깨끗하지만 실제 접촉에는 순응성(Compliance), 보정 오차, 액추에이터 동작, 완벽하게 모델링하기 어려운 마찰 효과가 포함된다. 잡음 주입(Noise Injection)과 파라미터 무작위화는 이러한 차이를 줄일 수 있지만 예측된 강건성이 실제 파지 성공으로 이어지는지는 물리적 검증을 통해 확인해야 한다.

실행 피드백(Execution Feedback)은 남아 있는 예측 오차를 보상할 수 있다. 로봇이 접근하여 그리퍼를 닫은 후 손가락 위치, 모터 전류, 힘 센싱(Force Sensing), 촉각 센싱(Tactile Sensing), 비전을 이용하여 예상된 접촉이 실제로 형성되었는지 판단할 수 있다. 파지가 비대칭이거나 물체를 잡지 못했거나 미끄러짐이 발생하면 시스템은 파지력을 수정하거나 재파지(Regrasp)를 수행할 수 있다. 따라서 학습 기반 파지 선택과 피드백 제어는 조작 문제의 서로 다른 단계를 담당한다.

GQ-CNN은 피지컬 AI(Physical AI)를 위한 보다 일반적인 설계 원리도 보여준다. 계산 비용이 높은 물리적 추론을 사용하여 구조화된 지도 정보(Structured Supervision)를 생성하고, 학습 모델을 통해 이러한 추론을 빠른 추론 함수로 압축할 수 있다. 해석적 역학(Analytical Mechanics)은 물리적 의미가 있는 레이블을 제공하고, 시뮬레이션은 대규모 데이터와 통제된 변화를 제공하며, 신경망은 빠른 온라인 평가를 제공한다. 이러한 구조는 모델 기반 지식(Model-Based Knowledge)과 데이터 기반 일반화를 경쟁 관계가 아니라 상호 보완적인 방식으로 결합한다.

현대적인 구현에서는 원래의 GQ-CNN 구성보다 이러한 원리를 더욱 확장할 수 있다. 향상된 깊이 인코더(Depth Encoder), 포인트 클라우드 네트워크(Point-Cloud Network), 암시적 3차원 표현(Implicit 3D Representation), 트랜스포머 기반 인식(Transformer-Based Perception), 불확실성 추정(Uncertainty Estimation), 멀티모달 센싱(Multimodal Sensing) 등을 개별 구성요소에 추가하거나 대체할 수 있다. 그러나 후보 행동을 생성하고 관측을 인코딩하며 파지 품질을 예측한 후 물리적·기하학적 제약조건을 통해 결과를 검증하고 실행한다는 핵심 개념은 유지된다.

산업용 로봇 조작(Industrial Manipulation)에서는 후보 생성, 학습 기반 품질 예측, 물리적 검증(Physical Validation)을 분리하는 구조가 특히 유용하다. 서로 다른 그리퍼, 물체, 작업 셀(Workcell), 안전 제약조건에 따라 전체 구조를 다시 설계하지 않고 후보 생성기 또는 검증 단계만 수정할 수 있다. 새로운 물체 분포와 센서 조건에 대한 데이터가 확보되면 학습된 품질 모델을 재학습하거나 미세 조정(Fine-Tuning)할 수도 있다.

따라서 GQ-CNN의 지속적인 기여는 특정 합성곱 신경망 구조 자체에만 한정되지 않는다. 이 접근법은 대규모 합성 데이터, 강건한 해석적 파지 척도, 깊이 인식, 지도 학습을 실제적인 파지 선택 파이프라인(Grasp-Selection Pipeline)으로 통합하는 방법을 보여준다. 물리적 근거를 가진 파지 품질을 효율적으로 근사하는 방법을 학습함으로써 고전적인 접촉 역학(Classical Contact Mechanics)과 확장 가능한 데이터 기반 로봇 인식 및 조작(Data-Driven Robotic Perception and Manipulation)을 연결한다.

05.05. GraspNet 1B Large Scale Grasp Detection [w/Code]

GraspNet-1Billion은 현실적인 클러터 환경(Cluttered Scene)에서 일반화 가능한 로봇 파지 검출(Robotic Grasp Detection)을 발전시키기 위해 설계된 대규모 벤치마크 및 데이터셋이다. 핵심적인 기여는 소규모 물체별 파지 라이브러리를 크게 넘어서는 규모로 파지 예측 문제를 정의하고, 실제 물체 및 RGB-D 관측과 연결된 방대한 6자유도(6-DoF) 파지 후보 주석을 제공하는 것이다. 이러한 규모를 통해 데이터 기반 모델은 이전에 보지 못한 물체(Unseen Object)를 파지하는 데 재사용할 수 있는 기하학적 패턴을 학습할 수 있다.

일반적으로 영상 안에서 직사각형을 예측하는 평면 파지 검출(Planar Grasp Detection)과 달리 GraspNet은 3차원 공간에서의 6자유도 파지 자세(6-DoF Grasp Pose)에 초점을 맞춘다. 하나의 파지는 물체에 대한 평행 조 그리퍼(Parallel-Jaw Gripper)의 위치와 방향을 정의하며 그리퍼 개방 폭 및 접촉 실현 가능성과 관련된 파라미터도 포함한다. 이러한 표현을 통해 로봇은 주로 하향 파지(Top-Down Grasp)에 제한되지 않고 다양한 방향에서 물체에 접근할 수 있다.

데이터셋은 물리적 물체 모델을 복잡한 탁상 환경에 배치하고 RGB-D 센서를 이용하여 관측하는 구조를 기반으로 구축된다. 하나의 장면에 여러 물체가 동시에 존재하면서 가림(Occlusion), 접촉, 복잡한 공간 배치가 발생할 수 있다. 이러한 환경은 고립된 물체 영상보다 실제 로봇 피킹(Robotic Picking)에 가깝다. 따라서 벤치마크는 모델이 국부적인 물체 형상을 이해하는지만 평가하는 것이 아니라 물체의 상당 부분이 가려진 상황에서도 실행 가능한 파지를 찾아낼 수 있는지를 평가한다.

대규모 파지 주석(Large-Scale Grasp Annotation)을 실제 로봇 실험만으로 확보하는 것은 어렵다. GraspNet은 정밀한 3차원 물체 모델, 정합된 장면 형상(Registered Scene Geometry), 체계적인 파지 생성을 결합하여 이 문제를 해결한다. 물체 모델에서 후보 파지를 기하학적·물리적으로 평가한 후 알려진 물체 자세를 이용하여 장면 좌표계(Scene Coordinate System)로 변환할 수 있다. 이를 통해 수십억 번의 실제 파지 실험을 수행하지 않고도 조밀한 파지 지도 정보(Dense Grasp Supervision)를 생성할 수 있다.

"1Billion"이라는 명칭은 독립적으로 촬영된 물리적 장면이 10억 개라는 의미가 아니라 방대한 규모의 파지 주석을 의미한다. 하나의 물체에 많은 후보 파지를 연결할 수 있으며 이를 다양한 물체 자세와 장면으로 변환할 수 있다. 이러한 조밀한 주석 전략은 학습 알고리즘이 접촉 위치, 접근 방향, 그리퍼 구성, 물체 형상의 광범위한 변화를 경험하게 하여 3차원 파지 어포던스(3D Grasp Affordance)를 학습하기 위한 풍부한 기반을 제공한다.

GraspNet에서 중요한 구분 중 하나는 물체 수준 파지 품질(Object-Level Grasp Quality)과 장면 수준 파지 실현 가능성(Scene-Level Grasp Feasibility)이다. 고립된 물체에서는 기계적으로 유효한 파지라도 복잡한 장면에서는 그리퍼가 주변 물체나 지지면과 충돌하여 실행할 수 없을 수 있다. 따라서 장면 수준 평가에서는 대상 물체의 형상뿐 아니라 주변 장애물도 고려해야 한다. 이러한 구분은 벤치마크의 파지 예측을 실제 로봇 행동으로 변환하기 위해 필수적이다.

포인트 클라우드(Point Cloud)는 깊이 센싱을 통해 얻은 3차원 표면 형상을 유지하므로 GraspNet 방식의 파지 검출에 자연스러운 표현이다. 포인트 클라우드 네트워크(Point-Cloud Network)는 관측된 표면을 직접 분석하여 후보 파지 위치, 방향, 점수를 예측할 수 있다. 순수한 영상 기반 표현과 비교하면 표면 법선, 여유 공간, 물체 경계, 국부적인 3차원 구조와 같은 기하학적 관계를 더욱 명시적으로 표현할 수 있다.

현대적인 파지 검출기(Grasp Detector)는 관측된 포인트 클라우드에서 유망한 시드 포인트(Seed Point)를 식별하는 것부터 시작하는 경우가 많다. 이러한 점 주변의 국부 특징(Local Feature)은 안정적인 접촉을 지원할 수 있는 기하학 구조를 표현한다. 이후 검출기는 가능한 접근 방향, 평면 내 회전(In-Plane Rotation), 그리퍼 깊이, 개방 폭, 파지 점수를 추정한다. 계층적 예측(Hierarchical Prediction)은 거대한 연속 6차원 탐색 공간을 관리 가능한 구조화된 추정 문제의 연속으로 축소한다.

시점 또는 접근 방향 예측(Viewpoint or Approach-Direction Prediction)은 6자유도 파지에서 특히 중요하다. 로봇은 관측된 형상과 주변 클러터 상태에 따라 동일한 물체를 위쪽, 측면 또는 비스듬한 방향에서 접근할 수 있다. 하나의 고정된 접근 축을 가정하는 대신 네트워크는 유망한 표면 영역 주변에서 여러 후보 방향을 평가할 수 있다. 이러한 능력은 처리할 수 있는 물체 종류와 장면 배치의 범위를 크게 확장한다.

접근 방향을 선택한 후 검출기는 해당 축을 중심으로 하는 그리퍼 회전과 물체 표면에 대한 삽입 깊이(Insertion Depth)를 결정해야 한다. 이러한 변수는 어떤 표면이 그리퍼의 닫힘 영역(Closing Region)에 들어가는지와 손가락이 유용한 접촉을 형성할 수 있는지를 결정한다. 일부 방향 또는 깊이 변수를 이산화(Discretization)하면 학습을 단순화할 수 있으며 이후 정밀화(Refinement)를 통해 자세 정확도를 향상시킬 수 있다. 최종 출력은 점수가 부여된 6자유도 파지 가설(Grasp Hypothesis)의 집합이다.

파지 점수(Grasp Score)는 후보 구성의 예상 적합성을 나타낸다. 학습 과정의 지도 정보는 기하학적 접촉 품질, 마찰 가정, 충돌 상태 또는 사전에 계산된 파지 주석을 반영할 수 있다. 추론 과정에서 네트워크는 데이터셋으로부터 학습한 성공적인 기하학 관계와 유사한 구성에 더 높은 점수를 부여한다. 따라서 이 점수는 파지의 유용성에 대한 학습된 근사값이며 모든 고득점 후보가 실제 물리적 환경에서 성공한다는 보장은 아니다.

신경망 예측 이후에도 충돌 검출(Collision Detection)이 필요하다. 후보 파지가 대상 표면에 잘 정렬되어 있더라도 그리퍼 본체가 다른 물체, 테이블 또는 장면의 가려진 부분과 충돌할 수 있기 때문이다. 효율적인 충돌 검사는 복원된 포인트 클라우드, 복셀 점유 표현(Voxelized Occupancy), 부호 거리 표현(Signed-Distance Representation), 또는 사용할 수 있는 경우 명시적인 물체 모델을 활용할 수 있다. 이러한 검사를 통과하지 못한 후보는 로봇 도달 가능성과 동작 계획을 평가하기 전에 제거된다.

가림(Occlusion)은 복잡한 장면의 파지 검출에서 핵심적인 과제 중 하나이다. 센서는 가시 표면만 관측하지만 그리퍼는 부분적으로 또는 완전히 가려진 형상과 상호작용할 수 있다. 강건한 검출기는 불완전한 정보로부터 파지 가능성을 추론하면서 관측되지 않은 공간을 근거 없이 자유 공간으로 가정해서는 안 된다. 높은 신뢰성이 요구되는 경우 보수적인 충돌 여유(Conservative Collision Margin)와 다중 시점 센싱(Multi-View Sensing)을 사용하여 보이지 않는 형상으로 접근할 위험을 줄일 수 있다.

벤치마크의 기학습 물체(Seen Object), 유사 물체(Similar Object), 신규 물체(Novel Object) 설정은 일반화 성능을 측정하는 데 중요하다. 학습 중 포함된 물체에 대한 성능은 익숙한 파지 구조를 인식하는 능력을 보여주며, 보지 못한 범주나 형상에 대한 평가는 모델이 전이 가능한 3차원 원리를 학습했는지를 보여준다. 모든 물체에 대해 개별적인 학습을 수행할 수 없는 범용 로봇 조작에서는 신규 물체에 대한 높은 성능이 특히 중요하다.

일반화는 유용한 파지 특징의 상당 부분이 국부적이라는 특성에 의해 가능해진다. 평행 조 파지는 흔히 서로 마주 보는 표면, 적절한 두께, 충분한 여유 공간, 호환 가능한 국부 법선(Local Normal)에 의존한다. 의미론적 범주가 서로 다른 물체라도 이러한 구조를 공유할 수 있다. 대규모 학습을 통해 검출기는 물체 정체성에만 의존하는 대신 이러한 재사용 가능한 기하학적 관계를 학습할 수 있을 정도로 다양한 형상을 경험한다.

그러나 어려운 클러터 환경에서는 국부 형상만으로 충분하지 않다. 후보 접촉 영역 자체는 매우 우수해 보여도 안전한 접근 경로가 존재하지 않을 수 있다. 주변 점과 장면 점유 상태를 표현하는 문맥 특징(Contextual Feature)은 검출기가 접근 가능한 표면과 기하학적으로는 매력적이지만 차단된 표면을 구분하도록 돕는다. 따라서 각각의 작은 패치를 독립적으로 평가하기보다 국부 파지 정보와 점진적으로 더 넓은 공간 문맥을 결합하는 아키텍처가 필요하다.

센서 잡음(Sensor Noise)도 파지 예측에 영향을 준다. 깊이 카메라는 측정 누락, 양자화 인공물(Quantization Artifact), 경계 잡음, 반사성 또는 투명 재질에서의 오차를 발생시킨다. 학습 증강(Training Augmentation)을 통해 점의 위치를 교란하거나 일부 관측을 제거하고 시점을 변화시키거나 깊이 불확실성을 시뮬레이션하여 강건성을 향상시킬 수 있다. 그러나 깊이 측정이 심각하게 불안정한 물체는 여전히 어려우며 신뢰성 높은 조작을 위해 RGB, 촉각, 스테레오, 다중 시점 정보가 추가로 필요할 수 있다.

벤치마크는 파지 검출기를 일관되게 비교할 수 있도록 표준화된 평가 절차(Standardized Evaluation Procedure)를 제공한다. 예측된 파지는 단순한 2차원 영상 중첩이 아니라 기하학적·물리적 기준을 이용하여 주석된 파지 구성과 비교된다. 서로 다른 마찰계수 또는 품질 임계값에서 정밀도(Precision)를 평가함으로써 방법이 기계적으로 타당한 파지를 생성하는지, 그리고 더욱 엄격한 안정성 조건에서 성능이 어떻게 변화하는지를 확인할 수 있다.

이러한 평가 철학은 학습 기반 파지 검출과 고전적인 파지 역학(Classical Grasp Mechanics)을 연결한다. 신경망 자체가 추론 중에 마찰 원뿔이나 렌치 공간 최적화를 명시적으로 계산하지 않더라도 주석과 평가 과정에는 물리적으로 의미 있는 기준을 포함할 수 있다. 검출기는 광범위한 기하학 탐색과 접촉 분석을 통해 계산해야 하는 관계를 효과적으로 근사하여 단일 관측으로부터 많은 파지 가설을 빠르게 생성한다.

따라서 GraspNet 방식의 모델은 제안 및 검증 구조(Proposal-and-Validation Architecture)에 매우 적합하다. 학습된 검출기는 다양하고 품질이 높은 6자유도 후보를 빠르게 생성하고, 이후 해석적 모듈(Analytic Module)이 실제 로봇에 특화된 제약조건을 적용한다. 충돌 검사, 역기구학(Inverse Kinematics), 관절 한계, 그리퍼 개방 폭, 작업 공간 경계, 작업 요구조건 등을 적용할 수 있으므로 신경망 검출기가 모든 하드웨어별 제한사항을 학습할 필요가 없다.

비최대 억제(Non-Maximum Suppression) 또는 유사한 필터링은 조밀한 검출기가 동일한 영역 주변에서 거의 동일한 파지 가설을 많이 생성하기 때문에 유용하다. 중복 후보는 의미 있는 대안을 추가하지 않으면서 이후 단계의 계산량만 증가시킨다. 병진과 회전 유사성을 기준으로 파지를 군집화하고 가장 높은 점수의 대표 후보를 유지하면서, 로봇 도달 가능성이나 충돌 제약조건에 따라 유용해질 수 있는 충분히 다른 대안은 보존할 수 있다.

실제 실행 파이프라인(Runtime Pipeline)은 RGB-D 획득과 포인트 클라우드 생성에서 시작하여 작업 공간 필터링 및 필요한 경우 물체 분할(Object Segmentation)을 수행한다. 파지 검출기는 후보 6자유도 자세와 신뢰도 점수를 예측하고 충돌 필터링을 통해 기하학적으로 위험한 구성을 제거한다. 살아남은 후보는 로봇 좌표계로 변환된 후 역기구학, 접근 가능성, 궤적 안전성을 검사하며 최종적으로 실행 가능한 최상의 파지를 선택한다.

벤치마크의 기하학만으로 모든 물리 효과를 표현할 수 없기 때문에 실행 피드백(Execution Feedback)은 여전히 필요하다. 보정 오차, 물체 이동, 마찰 불확실성, 그리퍼 순응성(Gripper Compliance), 불완전한 깊이 센싱으로 인해 실제 접촉 위치가 예측과 달라질 수 있다. 힘, 촉각, 모터 전류, 비전 피드백을 사용하여 물체가 안정적으로 획득되었는지 판단할 수 있으며 실패하거나 불안정한 파지는 갱신된 장면 관측을 이용한 새로운 예측 주기를 시작하게 할 수 있다.

산업용 빈 피킹(Industrial Bin Picking)에서 이러한 아키텍처는 물체별 파지 라이브러리(Object-Specific Grasp Library)에 비해 중요한 장점을 제공한다. 하나의 작업 셀에서 많은 종류의 부품, 변화하는 자세, 부분적인 가림, 이전에 보지 못한 형상을 처리해야 할 수 있다. 대규모 6자유도 파지 검출은 현재 장면의 형상으로부터 직접 행동을 제안할 수 있고 이후의 공학적 제약조건을 통해 로봇 및 작업 셀과의 호환성을 보장할 수 있다. 이를 통해 일반적인 기하학적 파지 지능과 배포 환경별 검증을 분리할 수 있다.

GraspNet-1Billion은 피지컬 AI(Physical AI)에서 데이터셋 규모가 갖는 중요성도 보여준다. 거대한 주석 공간을 통해 모델은 실제 배포 전에 형상, 접촉 기하학, 시점, 클러터, 파지 방향의 다양한 조합을 경험할 수 있다. 목적은 단순히 더 많은 물체를 암기하는 것이 아니라 안정적인 파지 원리가 학습 과정에서 통계적으로 나타날 수 있을 정도로 기하학적 행동 공간(Geometric Action Space)을 조밀하게 포함하는 것이다.

이 프레임워크는 더욱 풍부한 3차원 표현, 트랜스포머 아키텍처(Transformer Architecture), 희소 복셀 네트워크(Sparse Voxel Network), 암시적 표면(Implicit Surface), 불확실성 추정(Uncertainty Estimation), 멀티모달 인식(Multimodal Perception), 폐루프 파지 정밀화(Closed-Loop Grasp Refinement) 등을 통해 확장할 수 있다. 이러한 기술은 특징과 파지 자세를 표현하는 방법을 변화시킬 수 있지만, 불완전한 장면 관측으로부터 다양한 물리적으로 의미 있는 행동을 생성하고 이를 효율적으로 순위화한 후 실제 환경의 제약조건으로 검증한다는 근본적인 문제는 동일하다.

따라서 GraspNet-1Billion의 더 넓은 기여는 고립된 파지 예제에서 대규모 장면 인식형 6자유도 파지 지능(Scene-Aware 6-DoF Grasp Intelligence)으로의 전환에 있다. 조밀한 주석, 현실적인 클러터, RGB-D 인식, 기하학적 평가, 명시적인 일반화 시험을 결합하여 물체별로 사전 정의된 프로그램 없이도 익숙하지 않은 물체를 파지해야 하는 로봇을 위한 기반을 제공한다. 이는 대규모 데이터 기반 인식과 범용 로봇 조작(General-Purpose Robotic Manipulation)의 물리적 요구조건을 연결한다.

05.06. AnyGrasp Foundation Grasp Model [w/Code]

AnyGrasp는 3차원 장면 관측(Three-Dimensional Scene Observation)으로부터 신뢰할 수 있는 평행 조 파지 자세(Parallel-Jaw Grasp Pose)를 직접 생성하는 것을 목표로 하는 범용 6자유도 로봇 파지 검출(General-Purpose 6-DoF Robotic Grasp Detection) 접근법이다. 모든 물체에 대해 사전 정의된 파지 라이브러리(Grasp Library)를 요구하는 대신, 모델은 물체 범주와 환경을 넘어 전이할 수 있는 기하학적 파지 패턴(Geometric Grasp Pattern)을 학습한다. 이러한 특성은 익숙하지 않은 물체를 다루는 로봇을 위한 파운데이션형 파지 지능(Foundation-Like Grasp Intelligence)이라는 더 넓은 목표와 연결된다.

입력은 일반적으로 로봇 작업 공간에서 보이는 표면을 표현하는 깊이 기반 포인트 클라우드(Depth-Derived Point Cloud)이다. 각각의 점은 3차원 기하학 정보를 포함하며 필요에 따라 추가적인 센서 특징과 연결될 수 있다. 파지 검출기(Grasp Detector)는 이러한 장면 표현을 분석하고 위치, 방향, 그리퍼 개방 폭(Gripper Width), 신뢰도 또는 품질 정보를 포함하는 여러 후보 자세를 예측한다. 결과는 단순한 물체 레이블이나 분할 마스크가 아니라 실제로 수행할 수 있는 물리적 행동 후보들의 조밀한 집합이다.

6자유도 파지 자세(6-DoF Grasp Pose)는 3차원 공간에서 그리퍼가 어디에 위치하고 어떤 방향을 가져야 하는지를 표현한다. 평행 조 그리퍼(Parallel-Jaw Gripper)의 경우 대상 형상에 적합한 닫힘 방향(Closing Direction)과 개방 폭도 필요하다. 이러한 표현은 상향에서 하향, 측면, 비스듬한 방향 등 다양한 접근을 지원하므로 로봇은 물체 형상, 가시성, 주변 장애물, 매니퓰레이터 접근 가능성에 따라 파지 방향을 조정할 수 있다.

범용 파지 모델이 갖는 파운데이션형 가치(Foundation-Like Value)는 기하학적 전이(Geometric Transfer)에서 비롯된다. 의미론적으로 서로 관련이 없는 많은 물체도 서로 마주 보는 표면, 원통형 영역, 손잡이, 얇은 모서리, 거의 평행한 면과 같은 유사한 국부 파지 구조를 포함한다. 충분히 다양한 형상에 대해 학습한 모델은 반복적으로 나타나는 이러한 물리적 패턴을 학습할 수 있으며, 물체를 먼저 식별하거나 사람이 작성한 파지 템플릿을 검색하지 않고도 보지 못한 물체에 파지를 제안할 수 있다.

대규모 학습 데이터(Large-Scale Training Data)는 이러한 능력의 핵심이다. 학습 예제는 물체 크기, 형상, 방향, 클러터(Clutter), 센서 시점, 후보 파지 구성의 광범위한 변화를 모델에 제공해야 한다. 조밀한 6자유도 파지 데이터셋과 시뮬레이션 기반 주석(Simulation-Generated Annotation)을 이용하면 이러한 규모를 현실적으로 확보할 수 있다. 모델은 물체마다 하나의 성공적인 파지를 학습하는 것이 아니라 다양한 표면과 접근 방향에 존재하는 실현 가능한 파지 행동의 분포를 학습한다.

포인트 클라우드 특징 추출(Point-Cloud Feature Extraction)을 이용하면 네트워크가 3차원 형상을 직접 추론할 수 있다. 국부 이웃 영역(Local Neighborhood)은 표면 방향, 곡률, 두께, 경계에 대한 정보를 제공하며 더 넓은 수용 영역(Receptive Field)은 물체와 주변 클러터에 대한 문맥 정보를 제공한다. 국부 특징과 문맥 특징을 결합하는 것이 중요한 이유는 특정 표면이 국부적으로는 파지 가능해 보여도 주변 물체가 필요한 손가락 또는 손목 움직임을 차단하면 실제로 접근할 수 없기 때문이다.

후보 파지 생성(Candidate Grasp Generation)은 장면에서 유망한 점 또는 영역을 중심으로 구조화할 수 있다. 모델은 유용한 접촉을 지원할 가능성이 높은 위치를 식별하고 가능한 접근 방향과 그리퍼 방향을 연결한다. 연속적인 6자유도 행동 공간 전체를 완전 탐색하는 대신 학습된 기하학 특징을 이용하여 학습 중 관측된 안정적인 파지와 유사한 구성에 계산을 집중한다. 이를 통해 추론 효율(Inference Efficiency)을 크게 향상시킬 수 있다.

파지 방향 추정(Grasp Orientation Estimation)은 작은 각도 오차만으로도 손가락 접촉 위치가 바뀌거나 충돌이 발생할 수 있기 때문에 특히 중요하다. 범용 검출기는 접근 방향과 해당 방향 축을 중심으로 하는 회전을 모두 추정해야 한다. 이러한 변수는 연속적으로 예측하거나 방향 구간(Orientation Bin)으로 이산화하거나 거친 단계에서 정밀 단계로 진행하는 방식(Coarse-to-Fine Procedure)으로 추정할 수 있다. 최종 방향은 그리퍼 본체에 충분한 여유 공간을 유지하면서 닫힘 영역을 유용한 물체 표면과 정렬해야 한다.

파지 폭(Grasp Width)과 삽입 깊이(Insertion Depth) 역시 중요한 물리적 파라미터이다. 폭은 손가락이 선택된 영역을 감싸고 충분히 닫혀 접촉력을 생성할 수 있는지를 결정한다. 깊이는 그리퍼를 닫기 전에 관측된 표면을 기준으로 얼마나 전진시켜야 하는지를 결정한다. 잘못된 값은 빈 파지(Empty Grasp), 얕고 불안정한 접촉, 충돌을 발생시킬 수 있으므로 실제 모델은 이러한 파라미터를 파지 자세와 함께 예측하거나 평가한다.

신뢰도 또는 파지 품질 점수(Grasp-Quality Score)를 이용하면 후보 자세의 순위를 결정할 수 있다. 높은 점수는 유리한 접촉 형상과 학습 조건에서 높은 실행 성공 가능성을 가진 구성에 대응해야 한다. 그러나 이 점수는 물리적 성공을 보장하는 값이 아니라 학습된 추정값이다. 따라서 후보를 실제 실행 가능한 것으로 판단하기 전에 로봇별 충돌 검사, 운동학적 실현 가능성(Kinematic Feasibility), 환경 제약조건, 실행 피드백을 추가로 적용해야 한다.

AnyGrasp 방식의 검출은 동일한 가시 영역이나 물체에 대해 여러 대안 자세를 생성할 수 있기 때문에 클러터 환경에서 특히 유용하다. 최고 점수의 파지가 다른 물체에 의해 차단되더라도 다른 접근 방향을 가진 낮은 순위의 후보는 실행 가능할 수 있다. 따라서 후보 다양성(Candidate Diversity)을 유지하는 것이 중요하다. 유사한 예측을 지나치게 많이 제거하면 유용한 대안이 사라질 수 있고, 반대로 필터링이 너무 약하면 이후 단계의 계산 비용이 증가한다.

충돌 검출(Collision Detection)은 장면 수준의 파지 제안을 물리적으로 실현 가능한 행동으로 변환한다. 손가락 체적, 그리퍼 본체, 손바닥, 접근 통로(Approach Corridor)를 관측된 포인트 클라우드 또는 다른 점유 표현(Occupancy Representation)과 비교할 수 있다. 테이블, 컨테이너 벽, 의도한 접촉 영역 이외의 대상 형상, 주변 물체와 교차하는 파지는 제거한다. 깊이 잡음과 관측되지 않은 형상을 고려하기 위해 보수적인 여유 공간(Conservative Margin)을 적용할 수도 있다.

시간적 일관성(Temporal Consistency)은 파지 검출을 단일 영상이 아니라 연속적인 로봇 인식에 적용할 때 중요해진다. 반복되는 깊이 관측에서는 센서 잡음, 부분적인 가림, 작은 시점 변화로 인해 예측된 파지 자세가 흔들릴 수 있다. 추적(Tracking) 또는 시간 필터링(Temporal Filtering)을 사용하면 프레임 사이의 파지 가설을 연결하고 자세 추정을 안정화하며 로봇이나 물체가 움직이는 동안에도 파지의 동일성을 유지할 수 있다.

이러한 시간적 추론(Temporal Reasoning)은 동적 조작(Dynamic Manipulation)에서 특히 중요하다. 대상 물체가 컨베이어 위에서 움직이거나 이동하는 로봇에서 관측되는 경우 하나의 프레임에서 예측된 파지 자세는 계획 및 실행 과정에서 이미 오래된 정보가 될 수 있다. 시스템은 대상 또는 파지 가설을 추적하고 움직임을 추정하여 원하는 요격 자세(Interception Pose)를 갱신할 수 있다. 따라서 범용 파지 검출은 일회성 추론이 아니라 인식-행동 루프(Perception-Action Loop)의 일부가 된다.

물체 추적(Object Tracking)과 파지 추적(Grasp Tracking)은 서로 관련되어 있지만 다른 문제를 해결한다. 물체 추적은 물체의 동일성과 움직임을 유지하는 반면 파지 추적은 변화하는 형상이나 자세에 연결된 실행 가능한 접촉 구성을 유지한다. 하나의 물체는 여러 파지를 지원할 수 있으며 가림이나 환경 여유 공간이 변화하면서 각 파지의 실현 가능성도 달라질 수 있다. 따라서 파지 가설 자체를 직접 추적하면 조작 요구조건과 더욱 밀접하게 연결된 정보를 제공할 수 있다.

시점 변화에 대한 강건성(Robustness to Viewpoint Variation)도 범용 파지 지능의 중요한 요구조건이다. 동일한 물체라도 위쪽, 측면 또는 부분적으로 가려진 상태에서 관측하면 매우 다르게 보일 수 있다. 다양한 시점에서 학습하면 이러한 변화에서도 유용한 기하학 특징을 모델이 학습할 수 있다. 다중 시점 포인트 클라우드 융합(Multi-View Point-Cloud Fusion)을 사용하면 하나의 카메라 위치에서는 보이지 않는 표면까지 확보하여 성능을 더욱 향상시킬 수 있다.

센서 불확실성(Sensor Uncertainty)은 여전히 주요한 한계이다. 깊이 측정은 경계 부근이나 투명, 반사성, 어두운 또는 강한 정반사 특성을 가진 재질에서 불안정할 수 있다. 누락된 점은 실제보다 자유 공간이 넓은 것처럼 보이게 하여 위험한 접근 예측을 만들 수 있다. 학습 과정의 잡음 증강(Noise Augmentation)은 이러한 문제에 대한 내성을 높이지만 실제 배포에서는 추가적인 RGB 추론, 스테레오 센싱, 능동 인식(Active Perception), 촉각 피드백 또는 보수적인 기하학적 여유가 필요할 수 있다.

보지 못한 물체에 대한 일반화(Generalization to Unseen Objects)가 제한 없는 범용 지능을 의미하는 것은 아니다. 새로운 물체가 학습 데이터에 포함된 것과 유사한 기하학 구조를 가진 경우 모델은 높은 성능을 보일 수 있지만 학습 분포에서 크게 벗어난 형상, 크기, 재질 또는 센싱 조건에서는 실패할 수 있다. 따라서 파운데이션형 파지 모델은 평균적인 벤치마크 정확도뿐 아니라 분포 변화(Distribution Shift)와 어려운 물리적 조건에서도 평가되어야 한다.

로봇 도달 가능성(Robot Reachability)은 또 다른 검증 계층을 제공한다. 기하학적으로 매우 우수한 파지라도 매니퓰레이터의 작업 공간 밖에 있는 손목 자세를 요구하거나 관절 한계를 위반할 수 있다. 후보 자세는 센서 좌표계에서 로봇 베이스 좌표계로 변환된 후 역기구학(Inverse Kinematics)을 이용하여 평가한다. 실행 가능한 파지의 순위를 결정할 때 조작성(Manipulability), 특이점까지의 거리, 사용 가능한 접근 궤적도 포함할 수 있다.

동작 계획(Motion Planning)은 선택된 파지 자세와 로봇의 현재 구성을 연결한다. 계획기는 사전 파지 상태(Pregrasp State)까지 충돌 없는 궤적을 생성하고 최종 접근을 수행한 후 그리퍼를 닫고 물체를 파지한 상태로 후퇴해야 한다. 따라서 파지 후보는 안전한 접근 통로가 존재하는지까지 고려하여 평가해야 한다. 제약이 많은 환경에서는 정적인 접촉 품질만으로 성공적인 조작을 보장할 수 없다.

여러 후보가 기계적으로 유효하더라도 작업 문맥(Task Context)에 따라 파지 선택이 달라질 수 있다. 픽앤플레이스(Pick-and-Place)는 원하는 배치 방향을 유지하기 쉬운 파지를 선호할 수 있고, 핸드오버(Handover)는 사람이 잡을 수 있는 영역을 남겨야 한다. 도구 사용은 특정 기능적 방향을 요구할 수 있으며 빈 피킹(Bin Picking)은 수직 인출 여유를 우선할 수 있다. 따라서 범용 파지 검출기는 이후 단계에서 작업 조건 기반 순위화(Task-Conditioned Ranking)와 결합될 때 더욱 효과적이다.

의미론적 정보(Semantic Information)는 기하학적 파지 지능을 대체하지 않으면서 보완할 수 있다. 기하학은 안정적인 접촉이 가능한 위치를 결정하고 의미론은 특정 작업에서 접촉이 바람직한 위치를 판단할 수 있다. 컵은 몸통이나 손잡이를 모두 파지할 수 있지만 따르기, 전달하기, 포장하기 중 어떤 작업을 수행하는지에 따라 선호되는 위치가 달라진다. 기하학적 후보를 작업 및 의미 추론과 결합하면 파지 검출을 범용 로봇 조작(General-Purpose Manipulation)으로 확장할 수 있다.

AnyGrasp 방식의 모델은 제안 및 검증 아키텍처(Proposal-and-Validation Architecture)에 자연스럽게 적용된다. 학습 모델은 광범위한 기하학적 탐색을 수행하여 고품질 후보 행동을 빠르게 생성하고, 결정론적 모듈(Deterministic Module)은 로봇별 제약조건을 적용한다. 충돌 검사, 역기구학, 그리퍼 한계, 작업 공간 규칙, 안전 여유, 작업 요구조건을 명시적으로 유지할 수 있다. 이러한 분리는 동일한 학습 기반 파지 지능을 서로 다른 로봇 플랫폼에 적용할 수 있도록 이식성을 향상시킨다.

실행 피드백(Execution Feedback)은 예측과 실제 접촉 사이의 차이를 보완한다. 손가락 위치, 모터 전류, 힘 센서, 촉각 배열(Tactile Array), 비전을 이용하여 예상한 접촉이 실제로 형성되었는지 확인할 수 있다. 접근 중 물체가 움직이거나 충분한 저항 없이 손가락이 닫히면 시스템은 정지하거나 동작을 수정하거나 새로운 파지를 요청할 수 있다. 재관측(Re-Observation)과 재계획(Replanning)을 통해 개루프 파지 예측(Open-Loop Grasp Prediction)을 폐루프 조작(Closed-Loop Manipulation)으로 전환할 수 있다.

이 모델은 더 큰 피지컬 AI(Physical AI) 아키텍처의 하나의 구성요소로도 활용할 수 있다. 인식(Perception)은 공간 표현을 구성하고, 파지 모델은 상호작용 어포던스(Interaction Affordance)를 제안하며, 계획(Planning)은 로봇 및 작업 제약조건을 평가하고, 제어(Control)는 선택된 행동을 실행한다. 접촉 이후의 피드백은 월드 상태(World State)를 갱신한다. 이러한 관점에서 파지 검출은 독립적인 인식 기능이 아니라 기하학적 이해와 물리적 행동을 연결하는 인터페이스이다.

파운데이션 파지 모델(Foundation Grasp Model)은 궁극적으로 물체, 장면, 센서, 로봇 플랫폼 전반에 걸쳐 폭넓은 전이 능력을 지원하면서 물체별 엔지니어링을 최소화해야 한다. 이를 위해서는 학습 데이터의 다양성, 물리적 의미를 갖는 파지 레이블, 강건한 3차원 표현, 불확실성 처리, 명시적인 검증 과정이 필요하다. 학습 분포가 실제 배포 환경에서 발생하는 형상과 물리 조건을 충분히 포함하지 못한다면 단순히 모델 규모를 증가시키는 것만으로는 충분하지 않다.

따라서 AnyGrasp의 더 넓은 의미는 물체별 파지 프로그래밍(Object-Specific Grasp Programming)에서 재사용 가능한 기하학적 조작 지능(Reusable Geometric Manipulation Intelligence)으로의 전환을 보여준다는 데 있다. 조밀한 6자유도 예측을 통해 로봇은 익숙하지 않고 복잡하게 배치된 환경에서도 관측된 장면으로부터 직접 실행 가능한 접촉 구성을 발견할 수 있다. 이를 충돌 추론, 운동학, 동작 계획, 시간적 추적, 피드백과 결합하면 확장 가능한 범용 로봇 조작을 위한 중요한 기반을 제공할 수 있다.

05.07. Task Oriented Grasp Planning Functional Grasps [w/Code]

작업 지향 파지 계획(Task-Oriented Grasp Planning)은 단순히 물체를 안정적으로 잡을 수 있는지를 판단하는 수준을 넘어 로봇 파지(Robotic Grasping)를 확장한다. 파지는 따르기, 자르기, 삽입, 전달, 조립, 도구 조작과 같은 이후의 행동을 지원할 때 비로소 유용한 것으로 간주된다. 따라서 계획기(Planner)는 파지 안정성(Grasp Stability)과 함께 작업 제약조건(Task Constraint), 물체 기능(Object Function), 로봇 운동학(Robot Kinematics), 접촉 이후 필요한 동작을 함께 평가한다.

이러한 관점은 일반적인 안정 파지(Generic Stable Grasp)와 기능적 파지(Functional Grasp)를 구분한다. 컵은 몸통, 테두리 또는 손잡이를 안정적으로 잡을 수 있지만 이러한 대안들이 모든 작업에 동일하게 적합한 것은 아니다. 손잡이를 잡는 것은 따르기 작업에 적합할 수 있고 몸통을 잡는 것은 포장 작업에 더 적합할 수 있다. 따라서 기능적 파지는 물체, 접촉 영역(Contact Region), 손 구성(Hand Configuration), 의도된 행동(Intended Action), 원하는 파지 후 동작(Post-Grasp Motion) 사이의 관계를 나타낸다.

작업 지향 계획은 파지 구성(Grasp Configuration)에 대한 제약 최적화(Constrained Optimization) 문제로 정의할 수 있다. 계획기는 안정성, 충돌, 도달 가능성(Reachability), 액추에이터 제약조건을 만족하면서 작업 의존적 효용(Task-Dependent Utility)을 최대화하는 파지 g를 탐색한다. 일반적인 파지 품질 함수 Q(g)만을 최적화하는 대신 목적함수를 개념적으로 Q(g,T)로 표현할 수 있으며, 여기서 T는 작업을 의미하고 어떤 파지 특성이 중요한지를 변화시킨다.

물체 어포던스(Object Affordance)는 인식(Perception)과 기능적 파지 사이를 연결하는 중요한 역할을 한다. 어포던스는 손잡이는 잡을 수 있고, 버튼은 누를 수 있으며, 칼날은 절단에 사용할 수 있는 것처럼 물체의 특정 영역이 어떤 행동에 참여할 수 있는지를 나타낸다. 인식 시스템은 기하학, 의미론(Semantics), 시연(Demonstration), 학습된 표현을 이용하여 이러한 행동 관련 영역(Action-Relevant Region)을 추정하고, 파지 계획기가 의도된 기능을 유지할 수 있는 접촉에 집중하도록 한다.

기능적 부품(Functional Part)은 흔히 긍정적인 파지 제약조건과 부정적인 파지 제약조건을 동시에 만든다. 망치의 손잡이는 선호되는 접촉 영역이지만 타격면은 가리지 않아야 한다. 드릴은 트리거(Trigger)에 접근할 수 있어야 하고 비트(Bit)가 올바른 방향을 유지해야 한다. 따르기에 사용되는 용기는 입구를 막지 않으면서 적절한 축을 중심으로 회전할 수 있어야 한다. 따라서 작업 추론(Task Reasoning)은 로봇이 어디를 잡아야 하는지뿐 아니라 어디를 접촉하지 않아야 하는지도 결정한다.

파지 이후 원하는 물체 자세(Desired Object Pose)는 후보 선택에 큰 영향을 미친다. 일반적인 파지 검출에서는 여러 개의 기계적으로 안정적인 자세가 동등하게 보일 수 있다. 그러나 작업 실행에서는 선택된 파지가 로봇 말단효과기(End Effector)와 물체 사이의 변환 관계를 결정하며, 이 변환은 이후의 모든 물체 움직임을 제한한다. 좋은 기능적 파지는 불필요한 재파지(Regrasp) 없이 필요한 작업 궤적(Task Trajectory)을 생성할 수 있는 상태로 물체를 배치해야 한다.

작업 렌치 요구조건(Task Wrench Requirement)은 기능적 파지 품질을 역학적으로 해석할 수 있게 한다. 서로 다른 작업은 특징적인 힘과 토크를 발생시킨다. 절단은 측방향 힘에 대한 저항을 요구할 수 있고 밸브 회전은 알려진 축 주변의 토크를 요구하며 용기 운반은 중력 하중을 중요하게 고려한다. 모든 방향의 외란에 동일하게 저항하도록 요구하는 대신 계획기는 의도된 작업 중 예상되는 렌치 방향을 우선적으로 고려할 수 있다.

이러한 작업 렌치 공간(Task Wrench Space)의 관점은 일반적인 힘 폐쇄(Force Closure)가 필요 이상으로 제한적일 수 있기 때문에 효율성을 향상시킬 수 있다. 임의의 외란에 대해 최적이 아닌 파지라도 특정 작업에서 예상되는 힘에 강하게 저항한다면 매우 우수할 수 있다. 반대로 높은 등방성 안정성 점수(Isotropic Stability Score)를 가진 파지도 가장 취약한 방향이 주요 작업 하중과 일치한다면 성능이 나쁠 수 있다. 따라서 기능적 평가는 역학을 의도된 사용 목적과 직접 연결한다.

로봇 운동학(Robot Kinematics)은 초기 파지 자세뿐 아니라 전체 작업 과정에서 고려해야 한다. 어떤 후보는 물체를 집어 올리는 순간에는 도달 가능하지만 이후의 움직임에서 로봇 팔을 관절 한계(Joint Limit) 또는 특이점(Singularity) 근처로 이동시킬 수 있다. 작업 지향 계획은 원하는 물체 자세의 연속적인 시퀀스에 대해 조작성(Manipulability), 관절 범위, 손목 방향, 궤적 실현 가능성(Trajectory Feasibility)을 평가하여 이후 과정에서 불리한 구성을 만드는 파지를 제거할 수 있다.

이러한 특성으로 인해 작업 지향 파지 계획과 동작 계획(Motion Planning)은 자연스럽게 결합된 문제가 된다. 파지를 선택하면 말단효과기와 물체 사이의 변환이 결정되고, 조작 궤적을 선택하면 어떤 변환이 유용한지가 결정된다. 두 문제를 독립적으로 계획하면 작업을 수행할 수 없는 안정적인 파지가 생성될 수 있다. 통합 방식에서는 접근, 조작, 배치, 후퇴 궤적과 함께 파지 후보를 평가하여 전체 행동이 실행 가능한지를 판단한다.

하나의 파지가 전체 작업을 지원할 수 없는 경우 재파지 계획(Regrasp Planning)이 필요하다. 로봇은 먼저 접근하기 쉬운 파지를 선택하여 물체를 들어 올리고 중간 구성(Intermediate Configuration)에 배치한 뒤 정밀 조립에 적합한 두 번째 파지를 수행할 수 있다. 재파지는 실행 시간과 불확실성을 증가시키므로 계획기는 작업 실현 가능성과 안전성을 유지하면서 파지 전환 횟수(Grasp Transition)를 최소화할 수 있는 후보를 선호하는 경우가 많다.

배치 제약조건(Placement Constraint)은 기능적 파지 선택과 밀접하게 관련된다. 물체를 지그(Fixture)에 삽입하거나 좁은 영역에 배치해야 하는 경우 그리퍼가 배치 과정에서 환경이 필요로 하는 공간을 차지해서는 안 된다. 또한 원하는 최종 방향을 충돌 없이 달성할 수 있어야 한다. 목표 자세에서 역방향으로 계획(Backward Planning)하면 배치 작업 전체에서 접근 가능한 접촉 영역을 식별하고 다른 조건에서는 매력적으로 보이는 후보를 제거할 수 있다.

핸드오버 작업(Handover Task)은 다른 행위자를 고려해야 하므로 또 다른 형태의 기능적 제약조건을 도입한다. 로봇은 물체를 안정적으로 잡으면서도 수령자가 잡을 수 있는 적절한 영역을 남겨야 한다. 날카롭거나 뜨겁거나 깨지기 쉽거나 기능적으로 중요한 표면은 사람에게서 멀어지도록 배치해야 할 수 있다. 따라서 선호되는 파지는 단순한 안정성이 아니라 물체 의미론, 사람의 접근성(Human Accessibility), 전달 방향, 안전성에 따라 결정된다.

도구 사용(Tool Use)은 작업 지향 파지의 가장 명확한 사례 중 하나이다. 도구는 손잡이, 작업 표면(Working Surface), 힘이 적용되는 방향 사이의 기능적 관계를 중심으로 설계된다. 로봇은 기계적 지렛대 효과(Mechanical Leverage)와 제어 가능성을 유지하면서 작업 부위가 목표에 도달할 수 있는 접촉을 선택해야 한다. 잘못된 위치의 기하학적으로 안정적인 파지는 물체 자체를 안정적으로 유지하더라도 도구의 기능을 사용할 수 없게 만들 수 있다.

의미론적 물체 이해(Semantic Object Understanding)는 이러한 작업에서 강력한 사전정보(Prior)를 제공할 수 있다. 물체를 칼, 머그컵, 드라이버, 스프레이 병으로 인식하면 예상되는 기능 영역과 일반적인 행동에 대한 정보를 얻을 수 있다. 그러나 동일한 범주의 물체도 형상과 크기가 다르므로 의미론적 레이블만으로는 충분하지 않다. 효과적인 기능적 파지는 의미론적 지식과 현재의 3차원 형상을 결합하여 정확하게 실행 가능한 파지를 결정한다.

부품 분할(Part Segmentation)을 이용하면 이러한 결합을 명시적으로 표현할 수 있다. 물체를 손잡이, 몸체, 트리거, 칼날, 입구, 지지면, 연결부와 같은 기능 영역으로 분해할 수 있다. 이후 적절한 부품에서 후보 파지를 우선 생성하고 보호해야 하는 영역의 후보는 제거할 수 있다. 부품 수준 추론(Part-Level Reasoning)은 시각적으로 크게 다른 물체도 유사한 기능 구조를 공유할 수 있으므로 물체별 파지를 암기하는 것보다 높은 전이성을 제공할 수 있다.

사람의 시연(Human Demonstration)으로부터 학습하는 것도 기능적 파지 지식을 확보하는 방법이다. 사람의 파지 선택에는 자연스럽게 작업 요구조건, 선호되는 접촉 영역, 물체 사용 방식이 반영된다. 시연은 손-물체 자세(Hand-Object Pose), 접촉 맵(Contact Map), 궤적, 물체 기준 변환(Object-Relative Transformation) 등으로 표현할 수 있다. 로봇은 이러한 예제로부터 기능적 파지 분포를 학습하고 이후 자신의 그리퍼 형상과 운동학적 능력에 맞게 조정할 수 있다.

사람의 손과 로봇 그리퍼는 서로 다른 형태(Morphology)를 가지므로 사람의 파지를 로봇에 직접 전달하는 것은 일반적으로 어렵다. 중요한 정보는 정확한 손가락 구성보다 기능적 관계인 경우가 많다. 예를 들어 시연은 손잡이를 감싸야 하고 칼날은 자유롭게 유지해야 하며 특정 물체 축이 손과 정렬되어야 한다는 정보를 제공할 수 있다. 리타기팅(Retargeting)은 이러한 관계를 로봇과 호환되는 접촉 및 자세로 변환한다.

대규모 데이터셋(Large-Scale Dataset)은 작업 조건 기반 파지 학습(Task-Conditioned Grasp Learning)도 지원할 수 있다. 학습 샘플은 물체 관측, 작업 설명, 후보 파지, 성공 레이블을 연결할 수 있다. 이후 학습 모델은 기하학과 작업 문맥을 동시에 조건으로 사용하여 파지 품질을 추정할 수 있다. 동일한 후보라도 "따르기(Pour)", "전달하기(Handover)", "배치하기(Place)"에 대해 서로 다른 점수를 받을 수 있으며, 이는 파지 품질이 물체를 획득한 이후 수행할 행동에 따라 달라진다는 것을 의미한다.

언어(Language)는 이러한 작업 문맥을 지정하기 위한 유연한 인터페이스를 제공한다. "물을 따르기 위해 머그컵을 집어라"와 같은 지시는 대상 물체, 의도된 행동, 예상되는 기능적 제약조건에 대한 정보를 포함한다. 비전-언어 모델(Vision-Language Model)은 이러한 문맥을 해석하여 관련된 물체 부위를 식별할 수 있고, 기하학적 파지 검출기는 물리적으로 실현 가능한 자세를 생성할 수 있다. 의미론적 추론과 명시적인 기하학을 결합하면 언어 수준의 이해가 물리적 실현 가능성을 무시하는 것을 방지할 수 있다.

따라서 작업 조건 기반 파지 표현(Task-Conditioned Grasp Representation)은 물체 형상, 의미론적 부품 특징, 작업 임베딩(Task Embedding), 로봇 상태, 후보 파지 파라미터를 포함할 수 있다. 점수화 네트워크(Scoring Network)는 이러한 요소들이 얼마나 잘 결합되는지를 평가한다. 단순히 손가락이 특정 영역을 잡을 수 있는지를 묻는 대신 해당 파지가 요청된 상호작용을 지원할 수 있는지를 추정한다. 이를 통해 파지 검출을 수동적인 기하학적 인식에서 행동 조건 기반 의사결정(Action-Conditioned Decision Making)으로 전환한다.

불확실성(Uncertainty) 역시 기능적 파지 선택에 영향을 주어야 한다. 물체 자세, 질량 분포, 마찰, 의미론적 해석, 작업 파라미터 모두 불확실할 수 있다. 계획기는 좁은 조건에서만 최적인 구성을 선택하는 대신 가능한 변화에서도 유용성을 유지하는 파지를 선호할 수 있다. 강건 작업 지향 계획(Robust Task-Oriented Planning)은 여러 가설을 평가하거나 후보 상태를 교란하여 이러한 변화에서도 작업 실현 가능성이 유지되는지를 측정할 수 있다.

기능적 정보가 충분하지 않을 때는 능동 인식(Active Perception)을 수행할 수 있다. 손잡이가 물체 뒤에 가려져 있거나 도구 끝부분이 보이지 않거나 제어부가 어느 쪽에 있는지 알 수 없는 경우 로봇은 즉시 일반적인 가시 파지를 선택하는 대신 카메라나 물체를 이동하여 더 유용한 시점을 확보할 수 있다. 이때 인식은 이후의 파지 및 작업 의사결정을 개선하기 위해 선택되는 하나의 행동이 된다.

기능적 성공은 단순히 물체를 놓치지 않는 것 이상을 의미하므로 실행 피드백(Execution Feedback)이 특히 중요하다. 힘 및 촉각 센싱(Tactile Sensing)을 통해 도구 사용, 삽입, 따르기 과정에서 파지가 안정적으로 유지되는지 확인할 수 있다. 비전은 물체 방향과 작업 진행 상태를 검증할 수 있다. 힘이 예상 범위를 초과하거나 물체가 미끄러지기 시작하면 로봇은 부적절한 행동을 계속하는 대신 궤적, 파지력 또는 파지 구성을 수정할 수 있다.

따라서 폐루프 기능적 조작(Closed-Loop Functional Manipulation)은 여러 수준에 걸쳐 동작한다. 인식은 물체 상태와 기능 영역을 추정하고, 파지 계획은 작업에 적합한 접촉을 선택하며, 동작 계획은 실행 가능한 궤적을 생성하고, 제어(Control)는 피드백을 감시하면서 상호작용을 실행한다. 물체 자세 또는 접촉 상태의 변화는 월드 모델(World Model)을 갱신하고 재계획을 유발할 수 있다. 결과적으로 파지는 연속적인 인식-행동 과정(Perception-Action Process) 안에서 이루어지는 하나의 의사결정이다.

산업용 조립(Industrial Assembly)은 이러한 아키텍처의 실용적인 사례이다. 부품에는 쉽게 잡을 수 있는 표면이 많을 수 있지만 결합 특징(Mating Feature)을 삽입 과정에서 노출시키는 표면은 일부에 불과하다. 계획기는 지그 형상, 조립 방향, 공차(Tolerance), 로봇 도달 가능성, 예상 접촉력을 고려해야 한다. 올바른 기능적 파지를 선택하면 중간 배치와 재파지 작업을 제거할 수 있어 사이클 시간(Cycle Time)과 실행 위험을 직접 줄일 수 있다.

범용 조작(General-Purpose Manipulation)에서는 동일한 원리가 더욱 넓은 범위에서 요구된다. 가정, 물류창고, 연구실, 공장에서 작동하는 로봇은 하나의 보편적인 최적 파지 정의에 의존할 수 없다. 선호되는 접촉 구성은 의도된 작업, 주변 환경, 로봇 형태(Robot Embodiment), 이후의 목표에 따라 달라진다. 따라서 파지 지능(Grasp Intelligence)은 무엇을 잡을 수 있는지뿐 아니라 특정 파지가 왜 유용한지도 표현해야 한다.

궁극적으로 작업 지향 파지 계획은 파지를 목적을 가진 물리적 상호작용(Purposeful Physical Interaction)을 준비하는 과정으로 재정의한다. 안정성은 여전히 필수적이지만 어포던스, 작업 렌치, 의미론적 제약조건, 도달 가능성, 궤적 실현 가능성, 안전성, 이후의 물체 사용을 포함하는 더 큰 효용 함수(Utility Function)의 하나의 구성요소가 된다. 기능적 파지(Functional Grasping)는 실행 가능한 물체를 인식하는 단계와 물리 세계에서 완전한 조작 작업을 수행하는 단계를 연결하는 핵심적인 역할을 한다.

05.08. Dexterous Hand Grasp Planning Multi Finger [w/Code]

정교한 손 파지 계획(Dexterous Hand Grasp Planning)은 단순한 두 접촉 구성에서 여러 개의 관절형 손가락(Articulated Finger)이 협응하여 상호작용하는 형태로 로봇 파지를 확장한다. 다지 손(Multi-Finger Hand)은 물체 주변에 여러 접촉을 형성하고 서로 다른 표면에 힘을 분산시키며 접촉 이후에도 자세를 변경할 수 있다. 이러한 능력은 복잡한 물체 형상과 조작 작업을 지원하지만 손 자세, 관절 구성, 접촉, 힘, 충돌 제약조건을 포함하는 훨씬 큰 계획 문제를 만든다.

정교한 로봇 손(Dexterous Robotic Hand)은 독립적으로 또는 부분적으로 연동된 많은 관절을 포함할 수 있다. 계획기는 손바닥의 6자유도 자세(6-DoF Pose)와 관련된 모든 손가락 관절의 구성을 동시에 결정해야 한다. 따라서 중간 수준의 관절 구조를 가진 손에서도 고차원 구성 공간(High-Dimensional Configuration Space)이 형성된다. 완전 탐색은 비현실적이므로 파지 계획은 구조화된 샘플링, 최적화, 차원 축소(Dimensionality Reduction), 학습된 사전정보(Learned Prior), 또는 이들을 결합한 방법을 사용한다.

다지 파지(Multi-Finger Grasping)는 근본적으로 접촉 계획(Contact Planning) 문제이다. 각각의 손가락 끝 또는 손가락 표면은 위치, 표면 법선, 마찰, 허용 가능한 힘 방향으로 표현되는 접촉을 형성할 수 있다. 계획기는 손으로 실제 구현할 수 있으면서 물체의 움직임을 집합적으로 구속하는 접촉 집합을 탐색한다. 하나의 관절 변화가 여러 손가락 끝 위치와 충돌 관계를 동시에 바꿀 수 있으므로 접촉 선택과 손 구성은 독립적으로 해결할 수 없다.

파지 맵(Grasp Map)은 개별 접촉력(Contact Force)과 물체에 가해지는 전체 렌치(Wrench) 사이의 수학적 관계를 제공한다. 여러 손가락에서 생성되는 접촉력을 물체 기준 좌표계 주변의 힘과 토크로 변환할 수 있다. 안정적인 파지는 예상되는 외란에 저항할 수 있을 만큼 충분히 풍부한 렌치 집합을 생성해야 한다. 따라서 힘 폐쇄(Force Closure)는 여전히 중요한 기준이지만 접촉 수가 증가하면서 기계적 안정성을 달성할 수 있는 다양한 대안이 존재한다.

형상 폐쇄(Form Closure)는 마찰에 의존하지 않고 접촉 제약조건만으로 물체의 움직임을 방지하는 더욱 강한 기하학적 조건을 의미한다. 실제 로봇 손에서 완전한 형상 폐쇄를 구현하기는 어렵지만 이 개념은 접촉 형상이 물체의 자유도(Degree of Freedom)를 어떻게 제한하는지를 설명하는 데 유용하다. 실제 정교한 파지에서는 마찰 접촉, 순응성 손가락 끝(Compliant Fingertip), 능동 힘 제어(Active Force Control)가 함께 작동하여 강건하게 물체를 구속한다.

접촉 중복성(Contact Redundancy)은 다지 파지의 장점 중 하나이다. 여러 손가락이 참여하면 하나의 접촉이 손실되거나 이동하더라도 반드시 파지 실패로 이어지는 것은 아니다. 남아 있는 접촉 사이에서 힘을 재분배하여 물체 형상, 마찰, 손가락 배치의 불확실성을 견딜 수 있다. 그러나 중복성은 동일한 순 물체 렌치를 생성할 수 있는 접촉력 조합이 여러 개 존재하기 때문에 내부 힘 문제(Internal-Force Problem)도 발생시킨다.

내부 힘(Internal Force)은 물체의 순 렌치를 변화시키지 않으면서 물체를 얼마나 강하게 압착하는지를 변화시키는 접촉력이다. 적절한 내부 힘 제어는 과도한 압력을 가하지 않으면서 접촉을 유지하고 외란에 대한 저항력을 증가시킨다. 이는 깨지기 쉽거나 변형 가능한 물체(Deformable Object)를 조작할 때 특히 중요하다. 따라서 정교한 파지 계획은 평형 가능 여부뿐 아니라 실행 중 접촉력을 어떻게 분배해야 하는지도 고려해야 한다.

손 운동학(Hand Kinematics)은 실행 가능한 접촉 조합에 강한 제약조건을 부여한다. 이론적으로 매우 우수한 표면 접촉 집합이라도 손가락이 관절 한계 내에서 동시에 해당 위치에 도달할 수 없다면 사용할 수 없다. 정교한 손의 역기구학(Inverse Kinematics)은 여러 손가락 끝, 연동 관절, 손바닥 자세, 자기 충돌(Self-Collision)을 함께 고려해야 한다. 따라서 계획기는 기계적으로 우수하면서 운동학적으로 실현 가능한 접촉 집합과 손 자세를 동시에 탐색한다.

자기 충돌은 평행 조 그리퍼(Parallel-Jaw Gripper)보다 다지 손에서 훨씬 복잡하다. 접근 및 닫힘 과정에서 손가락끼리 충돌하거나 손바닥과 충돌하거나 물체의 의도하지 않은 영역과 접촉할 수 있다. 충돌 제약조건은 열린 사전 파지 자세(Pregrasp Posture)에서 최종 파지까지 이동하는 전체 과정에서 평가해야 한다. 최종 구성이 유효하더라도 충돌 없는 손가락 움직임으로 해당 상태에 도달할 수 없다면 실행 가능한 파지가 아니다.

사전 파지 계획(Pregrasp Planning)은 물체에 대한 접근과 접촉 형성을 분리한다. 손은 먼저 충분한 여유 공간을 유지하면서 물체 근처의 구성으로 이동한 후 각각의 손가락을 닫거나 재배치하여 원하는 접촉을 형성한다. 사전 파지는 조기 충돌을 방지하면서 최종 구성에 대한 도달 가능성을 유지해야 한다. 따라서 손바닥 움직임과 손가락 닫힘을 협응하는 것이 실행 가능한 정교한 파지 합성의 중요한 요소가 된다.

손 시너지(Hand Synergy)는 계획 차원을 줄이기 위한 실용적인 방법을 제공한다. 사람의 파지 자세에서는 손가락 관절 사이에 강한 상관관계가 나타나므로 많은 유용한 손 구성을 더 적은 수의 협응 운동 변수(Coordinated Motion Variable)로 표현할 수 있다. 로봇 손도 유사한 시너지 공간(Synergy Space)을 이용하여 모든 관절을 독립적으로 탐색하는 대신 저차원 다양체(Low-Dimensional Manifold)를 탐색할 수 있다. 이를 통해 자연스럽고 기계적으로 효과적인 파지를 유지하면서 계산량을 크게 줄일 수 있다.

주성분 방법(Principal Component Method)을 사용하면 기록된 파지 자세로부터 시너지를 추출할 수 있으며 학습된 잠재 표현(Learned Latent Representation)은 더욱 비선형적인 관계를 표현할 수 있다. 계획기는 축소된 표현에서 탐색한 후 선택된 잠재 좌표를 전체 관절 구성으로 다시 변환한다. 이 전략의 효과는 새로운 물체에 필요한 자세가 시너지 모델에 포함되어 있는지에 따라 달라지므로 저차원 계획과 국부적인 관절 수준 정밀화(Joint-Level Refinement)를 결합할 수 있다.

파지 분류체계(Grasp Taxonomy) 역시 유용한 구조적 사전정보를 제공한다. 파워 파지(Power Grasp)는 물체, 손가락, 경우에 따라 손바닥 사이의 넓은 접촉을 이용하여 안정성과 힘 용량을 극대화한다. 정밀 파지(Precision Grasp)는 손가락 끝 접촉과 제어 가능성을 강조하며 중간 형태의 파지는 두 목표 사이의 균형을 제공한다. 상세한 최적화 이전에 적절한 파지 계열을 선택하면 탐색 공간을 크게 줄이고 생성되는 손 자세를 작업 요구조건과 정렬할 수 있다.

물체 형상(Object Geometry)은 어떤 파지 계열이 실행 가능한지를 결정한다. 큰 원통형 물체에는 감싸기 파지(Wrap Grasp)가 적합할 수 있고 작은 물체에는 손가락 끝을 이용한 정밀 파지가 필요할 수 있으며 불규칙한 물체에는 비대칭 다지 접촉(Asymmetric Multi-Finger Contact)이 유리할 수 있다. 표면 곡률, 국부 두께, 공동(Cavity), 손잡이, 모서리는 접촉 배치에 영향을 준다. 따라서 3차원 인식은 손가락 끝 접근성과 전체 손의 수용 가능성을 함께 추론할 수 있을 만큼 상세한 형상을 제공해야 한다.

포인트 클라우드(Point Cloud)와 복원된 메시(Reconstructed Mesh)는 정교한 파지 계획에 일반적으로 사용되는 기하학적 입력이다. 포인트 클라우드는 측정된 표면 정보를 유지하지만 잡음과 누락 영역을 포함할 수 있고, 메시는 충돌 및 접촉 계산에 적합한 명시적 표면을 제공한다. 부호 거리장(Signed-Distance Field)과 같은 암시적 표현(Implicit Representation)은 부드러운 거리 정보를 제공하여 미분 가능한 최적화(Differentiable Optimization)를 지원할 수 있다. 선택된 표현 방식은 계획 정확도와 계산 효율성 모두에 영향을 준다.

최적화 기반 계획(Optimization-Based Planning)은 접촉 품질, 원하는 표면까지의 거리, 충돌 페널티, 관절 한계, 힘 폐쇄, 작업별 조건을 포함하는 목적함수로 파지를 정의한다. 초기 손 자세에서 시작하여 반복적인 최적화를 통해 손바닥과 손가락 구성을 더 나은 해로 조정한다. 미분 가능한 기하학을 사용할 수 있다면 경사 기반 방법(Gradient-Based Method)이 효율적이며, 목적함수에 불연속성이나 많은 국소 최솟값이 존재하는 경우 샘플링 또는 확률적 방법(Stochastic Method)이 유용하다.

정교한 파지 최적화는 매우 비볼록적(Non-Convex)이므로 초기화(Initialization)가 중요하다. 좋지 않은 초기 자세는 충돌, 도달 불가능한 접촉, 약한 국소 최적해로 수렴할 수 있다. 따라서 후보 손바닥 방향을 물체 형상에서 샘플링하거나 파지 분류체계에서 생성하거나 시연으로부터 전이하거나 학습 모델로 예측할 수 있다. 여러 초기값을 독립적으로 최적화한 후 순위를 평가하면 강한 해를 발견할 가능성을 높일 수 있다.

물리 시뮬레이션(Physics Simulation)은 후보 다지 파지를 평가하는 또 다른 방법을 제공한다. 시뮬레이션된 손을 물체 주변에서 닫으면서 접촉력, 마찰, 순응성, 물체 움직임을 계산할 수 있다. 기하학적으로 유효해 보이지만 물체가 미끄러지거나 빠져나가는 후보를 제거할 수 있다. 또한 마찰, 자세, 질량, 접촉 파라미터를 체계적으로 변화시켜 실제 하드웨어에서 실행하기 전에 파지 강건성(Grasp Robustness)을 추정할 수 있다.

순응성 접촉(Compliant Contact)은 실제 손가락 끝이 완전히 강체인 경우가 드물기 때문에 정교한 손에서 특히 중요하다. 부드러운 패드는 접촉 면적을 넓히고 압력을 분산하며 작은 기하학적 오차를 허용한다. 순응성은 파지 강건성을 향상시킬 수 있지만 변형에 따라 접촉 위치와 힘 분포가 변화하므로 모델링을 복잡하게 만든다. 실제 계획기에서는 단순화된 접촉 모델을 사용하고 남아 있는 모델 오차를 촉각 또는 힘 피드백으로 보상하는 경우가 많다.

촉각 센싱(Tactile Sensing)은 손가락 수가 증가할수록 더욱 중요해진다. 비전은 초기 파지를 추정할 수 있지만 손이 물체를 감싼 이후에는 많은 접촉 상태를 직접 관측할 수 없다. 촉각 배열(Tactile Array)은 접촉 위치, 압력 분포, 전단력(Shear), 초기 미끄러짐(Incipient Slip)을 감지할 수 있다. 이 정보를 이용하여 제어기는 각각의 손가락 힘이나 관절 위치를 조정할 수 있으며 계획된 파지를 적응형 폐루프 파지(Adaptive Closed-Loop Grasp)로 전환할 수 있다.

손 내부 조작(In-Hand Manipulation)은 정교한 손을 단순한 그리퍼와 더욱 명확하게 구분하는 기능이다. 물체를 획득한 이후에도 손가락은 구르기(Rolling), 미끄러짐(Sliding), 손가락 보행(Finger Gaiting), 제어된 접촉 전환을 이용하여 손바닥에 대한 물체의 자세를 변경할 수 있다. 따라서 초기 파지는 최대 정적 안정성만을 기준으로 선택하기보다 이후의 물체 재방향 설정(Object Reorientation)을 지원할 수 있는지를 기준으로 선택할 수 있다. 이로 인해 파지 계획과 손 내부 조작 계획은 밀접하게 결합된다.

손가락 보행(Finger Gaiting)은 물체의 제어를 유지하면서 접촉 집합을 변경한다. 하나의 손가락이 접촉을 해제하고 새로운 위치로 이동하여 다시 접촉하는 동안 나머지 손가락이 물체를 안정화할 수 있다. 이러한 전환을 계획하려면 일시적인 접촉 모드(Contact Mode)를 추론하고 전체 과정에서 충분한 렌치 생성 능력을 유지해야 한다. 따라서 연속적인 관절 움직임과 이산적인 접촉 상태 변화가 결합된 하이브리드 계획 문제(Hybrid Planning Problem)가 된다.

작업 지향 정교한 파지(Task-Oriented Dexterous Grasping)는 추가적인 기능적 제약조건을 도입한다. 도구를 잡은 손은 기능적 표면에 대한 접근을 유지해야 하며 물체 삽입을 준비하는 손은 조립에 적합한 방향을 유지해야 한다. 서로 다른 손가락이 안정화, 조작, 센싱과 같은 전문적인 역할을 담당할 수도 있다. 따라서 최적의 파지는 현재 물체의 기하학적 안정성뿐 아니라 이후에 수행할 상호작용에 따라 결정된다.

학습 기반 접근법(Learning-Based Approach)은 이러한 복잡한 탐색의 계산 부담을 줄일 수 있다. 시뮬레이션 또는 시연 파지로 학습한 네트워크는 물체 형상으로부터 손바닥 자세, 접촉 맵, 손가락 구성 또는 전체 손 자세를 예측할 수 있다. 이러한 예측은 최적화나 물리 기반 검증을 통해 정밀화할 수 있는 강력한 초기값을 제공한다. 따라서 학습은 이전의 많은 계획 문제에서 축적된 경험을 빠른 후보 생성 과정으로 압축한다.

대규모 합성 데이터(Large-Scale Synthetic Data)는 실제 환경에서 정교한 파지를 수집하는 비용이 높기 때문에 특히 중요하다. 시뮬레이션은 마찰, 질량, 자세, 센서 잡음을 변화시키면서 다양한 물체, 손 자세, 접촉 구성, 성공 레이블을 생성할 수 있다. 도메인 무작위화(Domain Randomization)는 실제 하드웨어로의 전이를 향상시키지만 시뮬레이션은 텐던 동역학(Tendon Dynamics), 순응성, 백래시(Backlash), 촉각 응답, 표면 마찰을 완벽하게 재현할 수 없다. 따라서 실제 환경에서의 검증은 여전히 필수적이다.

사람의 시연(Human Demonstration)은 인간의 손이 자연스럽게 정교하고 기능적인 파지를 생성한다는 점에서 보완적인 정보를 제공한다. 모션 캡처(Motion Capture), 비전, 손-물체 복원(Hand-Object Reconstruction)을 이용하여 사람의 접촉 패턴과 자세를 추정할 수 있다. 이후 리타기팅(Retargeting)을 통해 서로 다른 크기와 관절 구조를 가진 로봇 손으로 시연을 변환한다. 목표는 해부학적으로 정확하게 모방하는 것이 아니라 유용한 접촉 관계, 기능 영역, 조작 의도를 보존하는 것이다.

현대적인 정교한 파지 시스템은 인식, 학습, 최적화, 피드백을 점차 통합하고 있다. 학습 모델이 여러 개의 유망한 손 구성을 생성하면 기하학 처리 과정에서 충돌 후보를 제거하고 최적화를 통해 접촉 및 운동학적 품질을 향상시키며 물리 기반 평가를 통해 강건성을 추정한다. 실제 실행에서는 촉각 및 힘 피드백으로 남아 있는 오차를 수정한다. 이러한 하이브리드 아키텍처(Hybrid Architecture)는 계산 속도와 명시적인 물리 제약조건, 실제 환경 적응성 사이의 균형을 제공한다.

불확실성(Uncertainty)은 이러한 전체 파이프라인에서 고려되어야 한다. 물체 자세, 관측되지 않은 형상, 마찰, 보정, 액추에이터 상태의 오차는 지나치게 정밀하게 최적화된 파지를 무효화할 수 있다. 강건 계획(Robust Planning)은 교란 조건에서 후보를 평가하거나 해의 점수를 계산할 때 불확실성을 명시적으로 표현한다. 명목상 품질이 약간 낮더라도 더 넓은 기하학적 여유와 접촉 허용 범위를 가진 파지가 실제 하드웨어에서는 수학적으로 최적인 구성보다 더 우수할 수 있다.

궁극적으로 정교한 손 파지 계획(Dexterous Hand Grasp Planning)은 단순히 물체 주변에 그리퍼를 배치하는 것이 아니라 많은 접촉을 협응하여 제어하는 것을 목표로 한다. 핵심 과제는 고차원 운동학, 접촉 역학(Contact Mechanics), 충돌 회피, 힘 분배, 인식, 작업 요구조건, 피드백을 계산적으로 실용적인 프레임워크 안에서 통합하는 것이다. 이러한 문제를 해결하면 로봇은 다양한 물체를 단순히 잡는 것을 넘어 물체의 방향을 변경하고, 사용하고, 조립하며, 훨씬 높은 유연성을 가지고 조작할 수 있다.

05.09. Grasp Planning ROS2 MoveIt2 Integration [w/Code]

ROS 2와 MoveIt 2는 파지 생성(Grasp Generation)을 로봇 동작 계획(Motion Planning), 인식(Perception), 제어(Control), 실행(Execution)과 연결하기 위한 실용적인 소프트웨어 아키텍처(Software Architecture)를 제공한다. 파지 계획기(Grasp Planner)가 기하학적으로 유망한 말단효과기 자세(End-Effector Pose)를 생성하더라도 실제 로봇에서는 해당 자세가 도달 가능하고 충돌이 없으며 실행 가능한지를 추가로 판단해야 한다. MoveIt 2는 이러한 후속 기능을 제공하고 ROS 2는 조작 구성요소들을 연결하는 분산 통신 프레임워크(Distributed Communication Framework)를 제공한다.

일반적인 통합 구조에서는 파지 지능(Grasp Intelligence)과 로봇별 동작 실행(Robot-Specific Motion Execution)을 분리한다. 파지 모듈은 물체 형상이나 장면 관측을 입력받아 후보 파지 자세, 그리퍼 개방 폭, 접근 방향, 품질 점수를 생성한다. 이후 MoveIt 2는 로봇 모델, 계획 장면(Planning Scene), 운동학적 제약조건(Kinematic Constraint), 동작 계획기를 이용하여 후보들을 평가한다. 이러한 분리를 통해 해석적, 학습 기반 또는 하이브리드 파지 검출기가 동일한 실행 인프라를 공유할 수 있다.

ROS 2는 토픽(Topic), 서비스(Service), 액션(Action), 파라미터(Parameter), 좌표 변환(Transform)을 이용하여 통신하는 노드(Node)들로 조작 소프트웨어를 구성한다. 인식 노드는 RGB-D 데이터, 포인트 클라우드(Point Cloud), 검출된 물체 또는 자세를 발행할 수 있고 파지 계획 노드는 이러한 관측을 입력받아 후보 행동을 생성한다. 동작 실행은 액션 인터페이스(Action Interface)를 통해 요청할 수 있으므로 장시간 수행되는 작업도 전체 로봇 애플리케이션을 차단하지 않고 피드백을 제공하거나 완료 상태를 보고하고 취소 요청에 대응할 수 있다.

좌표 프레임 일관성(Coordinate-Frame Consistency)은 파지 통합에서 기본적인 요소이다. 검출기는 카메라 프레임(Camera Frame)에서 파지를 예측할 수 있지만 MoveIt 2는 로봇 베이스 또는 다른 계획 프레임(Planning Frame)을 기준으로 동작을 계획한다. ROS 2의 TF2 시스템은 카메라, 베이스, 말단효과기, 물체, 월드 프레임(World Frame) 사이의 변환을 유지한다. 작은 보정 오차도 상당한 접촉 또는 충돌 오차를 만들 수 있으므로 계획 전에 모든 후보 파지를 정확하게 계획 프레임으로 변환해야 한다.

로봇 기술 모델(Robot Description)은 MoveIt 2가 요구하는 구조적 모델을 제공한다. URDF 또는 Xacro 파일은 링크(Link), 관절(Joint), 한계, 충돌 형상(Collision Geometry), 시각화 형상(Visual Geometry)을 정의하고 SRDF 설정은 계획 그룹(Planning Group), 말단효과기, 비활성 충돌 쌍(Disabled Collision Pair), 의미론적 정보를 추가한다. 파지 실현 가능성은 손목 방향, 그리퍼 형상, 관절 범위, 매니퓰레이터와 말단효과기 프레임 사이의 관계에 의존하므로 정확한 모델링이 필수적이다.

MoveIt 2는 로봇과 주변 환경을 표현하는 계획 장면(Planning Scene)을 유지한다. 테이블, 빈(Bin), 지그(Fixture), 벽, 검출된 물체와 같은 충돌 객체(Collision Object)를 인식 결과가 변화함에 따라 추가하거나 갱신할 수 있다. 계획 장면을 이용하면 후보 파지에 대해 자기 충돌(Self-Collision)과 환경 충돌(Environmental Collision)을 모두 검사할 수 있다. 정확한 장면 표현이 없다면 기계적으로 우수한 파지도 주변 형상과 교차하는 접근 궤적을 생성할 수 있다.

인식 시스템은 일반적으로 깊이 카메라 또는 물체 검출 시스템으로부터 계획 장면을 갱신한다. 알려진 물체는 메시(Mesh)나 기본 형상(Primitive Shape)으로 표현할 수 있고 알려지지 않은 장애물은 점유 맵(Occupancy Map)이나 복원된 형상으로 근사할 수 있다. 이러한 표현은 기하학적 정확도와 계획 효율성 사이의 균형을 가져야 한다. 지나치게 상세한 형상은 충돌 검사 비용을 증가시키고 지나치게 거친 모델은 유효한 경로를 제거하거나 중요한 장애물을 제대로 표현하지 못할 수 있다.

하나의 파지 후보(Grasp Candidate)는 일반적으로 최종 말단효과기 자세보다 더 많은 정보를 포함한다. 실제 실행에는 사전 파지 자세(Pregrasp Pose), 접근 방향, 접근 거리, 그리퍼 개방 폭, 최종 파지 자세, 닫힘 명령, 후퇴 방향(Retreat Direction), 경우에 따라 물체 부착(Object Attachment) 정보가 필요하다. 이러한 요소들은 하나의 독립적인 목표 자세가 아니라 조작 시퀀스(Manipulation Sequence)를 정의한다. MoveIt 2는 이러한 구조를 이용하여 파지 선택과 전체 픽 실행(Pick Execution)을 연결할 수 있다.

사전 파지 자세는 충돌 여유 공간을 유지하면서 말단효과기를 물체 근처에 배치한다. 이 구성에서 로봇은 지정된 방향을 따라 제어된 최종 접근(Final Approach)을 수행한다. 전역 동작(Global Motion)과 짧은 파지 접근을 분리하면 계획을 단순화하고 물체에 조기에 접촉할 위험을 줄일 수 있다. 접근 거리는 충분한 여유를 확보할 수 있을 만큼 길어야 하지만 사용 가능한 작업 공간과 주변 장애물 조건도 만족해야 한다.

역기구학(Inverse Kinematics)은 후보 파지를 위한 초기의 효율적인 필터이다. 비용이 높은 궤적 계획을 수행하기 전에 MoveIt 2는 요청된 말단효과기 자세를 만족하는 로봇 구성이 존재하는지 검사할 수 있다. 관절 한계를 위반하거나 작업 공간 밖에 위치하는 후보는 즉시 제거된다. 여러 역기구학 해가 존재할 수 있으며 조작성이 우수하고 충분한 관절 여유(Joint Margin)를 가진 구성을 선택하면 이후 동작 계획의 성공 가능성을 높일 수 있다.

운동학 플러그인(Kinematics Plugin)을 이용하면 로봇과 애플리케이션에 따라 서로 다른 역기구학 해석기(Inverse-Kinematics Solver)를 사용할 수 있다. 수치적 해석기(Numerical Solver)는 광범위한 호환성을 제공하고 특수화되거나 해석적인 해석기(Analytical Solver)는 더 빠르고 결정론적인 결과를 제공할 수 있다. 파지 파이프라인에서는 많은 후보 자세를 빠르게 평가해야 하므로 파지 검출기가 수백 또는 수천 개의 가설을 생성하는 경우 운동학 해석기의 성능이 전체 사이클 시간(Cycle Time)에 큰 영향을 줄 수 있다.

운동학적 필터링 이후에는 충돌 검사(Collision Checking)를 통해 로봇, 손목 또는 그리퍼가 환경과 교차하는 구성을 제거한다. 충돌 검사는 최종 파지 자세뿐 아니라 사전 파지와 접근 경로도 고려해야 한다. 후보가 접촉 자세에서는 충돌이 없더라도 삽입 과정에서 주변 형상에 의해 차단될 수 있다. 따라서 클러터 환경(Cluttered Environment)에서 신뢰할 수 있는 파지 실행을 위해서는 스윕 체적(Swept Volume) 또는 궤적 수준의 충돌 검사가 필요하다.

동작 계획(Motion Planning)은 현재 로봇 상태와 선택된 사전 파지 구성 사이를 연결한다. MoveIt 2는 계획 파이프라인(Planning Pipeline)을 통해 다양한 동작 계획 알고리즘과 연동할 수 있다. 샘플링 기반 계획기(Sampling-Based Planner)는 복잡한 고차원 공간에서 유용하며, 말단효과기가 특정 경로를 따라야 하는 경우에는 카테시안 계획(Cartesian Planning) 또는 제약 기반 계획 방법을 적용할 수 있다. 계획기 선택은 장면 복잡도, 요구되는 결정성, 사용할 수 있는 계획 시간을 고려해야 한다.

최종 접근은 그리퍼가 예측 가능한 방향을 따라 물체로 이동해야 하므로 카테시안 동작(Cartesian Motion)으로 표현하는 경우가 많다. 카테시안 경로는 말단효과기의 방향을 유지하면서 짧은 거리의 병진 이동을 수행할 수 있다. 그러나 카테시안 보간(Cartesian Interpolation)만으로 전체적인 실행 가능성이 자동으로 보장되는 것은 아니다. 실행 전에 전체 궤적에 대해 관절 한계, 특이점, 충돌을 여전히 검사해야 한다.

후보 순위 결정(Candidate Ranking)은 파지 검출기의 신뢰도 점수에만 의존하지 않고 실행 실현 가능성(Execution Feasibility)을 포함해야 한다. 높은 품질의 기하학적 파지가 어려운 손목 방향, 긴 궤적 또는 특이점에 가까운 구성을 요구할 수 있다. 반면 점수가 다소 낮은 파지는 훨씬 쉽고 안전하게 실행될 수 있다. 따라서 최종 점수에는 파지 품질, 역기구학 성공 여부, 조작성, 충돌 여유, 경로 길이, 계획 비용을 함께 포함할 수 있다.

계획 어댑터(Planning Adapter)와 제약조건 메커니즘(Constraint Mechanism)을 이용하면 실행 전에 궤적을 정밀화할 수 있다. 관절 범위, 경로 제약조건(Path Constraint), 방향 요구조건, 속도 한계, 가속도 한계를 만족해야 한다. 산업용 조작에서는 선호되는 접근 방향이나 제한된 작업 공간 영역도 지정할 수 있다. 이러한 조건을 동작 계획 계층에서 명시적으로 표현하면 파지 모델이 결정론적으로 처리하는 것이 더 적절한 로봇별 규칙까지 학습할 필요가 없다.

그리퍼는 일반적으로 별도의 제어 그룹(Control Group) 또는 말단효과기 구성요소로 표현한다. 열기와 닫기는 ROS 2 Control 인터페이스 또는 전용 액션 서버(Action Server)를 통해 명령할 수 있다. 파지 파이프라인은 접근 전에 그리퍼를 열고, 파지 자세로 이동한 후, 접촉을 형성하기 위해 닫고, 물체 획득 여부를 확인한 뒤 후퇴하도록 로봇 팔 동작과 그리퍼 명령을 협응한다. 너무 이른 동작은 물체를 불안정하게 만들 수 있으므로 타이밍과 상태 동기화가 중요하다.

ROS 2 Control은 상위 수준 계획과 하드웨어 제어기(Hardware Controller)를 연결하는 표준화된 인터페이스를 제공한다. 관절 궤적 제어기(Joint Trajectory Controller)는 계획된 매니퓰레이터 궤적을 실행하고 그리퍼 제어기는 손가락 위치 또는 힘을 관리할 수 있다. 하드웨어 인터페이스는 이러한 명령을 액추에이터별 프로토콜로 변환한다. 이러한 추상화를 통해 동일한 MoveIt 2 계획 아키텍처를 상위 소프트웨어 계층의 큰 변경 없이 시뮬레이션과 실제 로봇에 적용할 수 있다.

궤적 실행(Trajectory Execution)은 명령된 움직임이 완벽하게 수행된다고 가정하지 않고 상태를 감시해야 한다. 제어기 피드백은 관절 위치, 속도, 실행 상태를 제공하며 추가 센서를 이용하여 예상하지 못한 접촉이나 물체 움직임을 검출할 수 있다. 추종 오차(Tracking Error)가 한계를 초과하거나 안전 조건이 발생하면 실행을 중단할 수 있다. 계획 모델이 실제 하드웨어에서 발생하는 모든 외란을 표현할 수 없으므로 신뢰할 수 있는 파지를 위해 이러한 피드백 경로가 필요하다.

그리퍼를 닫은 후에는 획득한 물체가 로봇에 부착된 상태로 표현되도록 계획 장면을 갱신해야 한다. MoveIt 2는 부착 충돌 객체(Attached Collision Object)를 지원하므로 이후 계획 과정에서 물체가 말단효과기와 함께 움직이는 것으로 처리할 수 있다. 운반되는 물체가 그리퍼보다 훨씬 클 수 있으므로 이에 따라 충돌 형상도 변화한다. 빈에서 물체를 인출하거나 좁은 공간을 통과하는 동작을 계획할 때 올바른 물체 부착 처리는 필수적이다.

접촉 허용 링크(Touch Link)는 부착된 물체와 접촉해도 유효한 충돌로 처리하지 않아야 하는 그리퍼의 부분을 지정한다. 이러한 관계는 신중하게 설정해야 한다. 지나치게 제한적으로 설정하면 정상적인 파지가 거부될 수 있고, 지나치게 허용적으로 설정하면 위험한 관통을 무시할 수 있다. 정확한 충돌 형상과 적절한 접촉 허용 링크 정의는 계획된 조작과 실제로 실행 가능한 조작 사이의 일관성을 향상시킨다.

후퇴 계획(Retreat Planning)은 물체를 획득한 후 접촉 영역에서 파지된 물체를 안전하게 이동시킨다. 초기 후퇴는 접근 방향의 반대쪽 카테시안 방향 또는 작업별 인출 벡터(Extraction Vector)를 따를 수 있다. 충분한 여유 공간을 확보한 후에는 전역 계획기를 사용하여 물체를 목적지로 이동시킬 수 있다. 인출과 운반을 분리하면 테이블, 빈, 지그 또는 주변 물체와 즉시 충돌할 가능성을 줄일 수 있다.

픽앤플레이스(Pick-and-Place) 작업에서는 동일한 아키텍처를 배치 과정까지 확장한다. 배치 계획기(Placement Planner)는 후보 물체 자세와 이에 대응하는 말단효과기 구성을 정의한다. MoveIt 2는 도달 가능성, 충돌 여유, 접근, 해제, 후퇴를 평가한다. 물체를 운반하는 동안 물체와 말단효과기 사이의 변환 관계가 유지되므로 픽업 과정에서 선택된 파지는 이후 어떤 배치 자세가 실행 가능한지에도 영향을 준다.

작업 수준 오케스트레이션(Task-Level Orchestration)은 상태 머신(State Machine), 행동 트리(Behavior Tree), 또는 MoveIt Task Constructor를 이용하여 구현할 수 있다. 하나의 동작을 개별적으로 요청하는 대신 현재 상태, 그리퍼 열기, 사전 파지로 이동, 접근, 닫기, 부착, 들어 올리기, 운반, 배치, 분리, 후퇴와 같은 단계로 조작 작업을 분해할 수 있다. 단계 기반 계획(Stage-Based Planning)은 실패 지점을 명확하게 드러내며 대안 파지 또는 궤적을 체계적으로 탐색할 수 있도록 한다.

MoveIt Task Constructor는 조작이 자연스럽게 상호 의존적인 여러 단계로 구성되므로 파지 작업에 특히 적합하다. 여러 파지 후보는 서로 다른 역기구학 해와 궤적을 포함하는 대안적인 해 분기(Solution Branch)를 생성할 수 있다. 프레임워크는 실행 불가능한 분기를 제거하면서 성공적인 부분 해(Partial Solution)를 다음 단계로 전달할 수 있다. 각 단계에 비용을 부여하면 하나의 국부적인 동작만 최적화하는 대신 전체 조작 시퀀스를 기준으로 최적의 해를 선택할 수 있다.

포인트 클라우드 또는 깊이 기반 네트워크와 같은 학습 기반 파지 검출기(Learning-Based Grasp Detector)는 MoveIt 2를 대체하지 않고 상위 단계에 통합할 수 있다. 네트워크는 6자유도 파지 가설과 신뢰도 점수를 생성하고 이를 표준화된 파지 후보로 변환한다. 이후 MoveIt 2가 결정론적인 로봇 제약조건을 적용한다. 이러한 제안 및 검증 아키텍처(Proposal-and-Validation Architecture)는 학습 기반 기하학 일반화와 명시적인 운동학, 충돌 검사, 궤적 계획을 결합한다.

시뮬레이션(Simulation)은 실제 하드웨어에 배포하기 전 중요한 통합 환경을 제공한다. 동일한 ROS 2 인터페이스를 이용하여 MoveIt 2를 시뮬레이션 로봇 제어기와 센서 스트림에 연결할 수 있다. 개발자는 하드웨어 손상 위험 없이 프레임 변환, 충돌 모델, 파지 시퀀스, 제어기 동기화, 복구 동작을 시험할 수 있다. 또한 다양한 물체 배치와 파지 후보에 대해 반복적인 평가를 수행할 수 있다.

실패 복구(Failure Recovery)는 파지 파이프라인을 완성한 후 추가하는 기능이 아니라 초기 설계부터 포함해야 한다. 역기구학 실패가 발생하면 다른 후보를 평가하고, 계획 실패 시 대체 접근 방향을 요청하며, 파지 검증 실패 시 그리퍼를 다시 열고 재계획할 수 있다. 실패한 접촉으로 물체가 이동하여 이전 계획 장면이 더 이상 유효하지 않을 수 있으므로 중요한 장면 변화 이후에는 갱신된 인식 정보를 다시 획득해야 한다.

완전한 ROS 2 및 MoveIt 2 파지 아키텍처는 따라서 폐루프(Closed Loop)로 동작한다. 인식이 장면을 갱신하고, 파지 지능이 후보를 제안하며, TF2가 이를 공통 좌표계로 변환하고, MoveIt 2가 운동학과 충돌을 평가하며, 동작 계획이 실행 가능한 궤적을 생성한다. 이후 ROS 2 Control이 동작을 실행하고 센싱을 통해 결과를 검증한다. 실패나 외란이 발생하면 조작을 종료하는 대신 다시 인식 및 계획 단계로 돌아간다.

이러한 통합의 핵심적인 공학적 가치는 모듈성(Modularity)에 있다. 파지 알고리즘은 전체 로봇 실행 스택을 다시 설계하지 않고도 해석적 계획기에서 GQ-CNN, GraspNet, AnyGrasp 또는 미래의 파운데이션 모델(Foundation Model)로 발전할 수 있다. 마찬가지로 로봇 팔과 그리퍼가 변경되더라도 인식 및 파지 생성 아키텍처의 상당 부분을 유지할 수 있다. 표준화된 인터페이스를 통해 기하학적 파지 지능과 로봇 형태별 실행(Embodiment-Specific Execution)을 분리할 수 있다.

궁극적으로 ROS 2와 MoveIt 2의 통합은 하나의 파지 자세 예측을 완전한 물리적 행동(Physical Action)으로 변환한다. 실용적인 시스템은 좌표 프레임, 로봇 모델, 환경 형상, 역기구학, 충돌 검사, 궤적 생성, 그리퍼 제어, 물체 부착, 피드백, 실패 복구를 하나의 협응된 파이프라인으로 관리해야 한다. 이러한 시스템 수준 통합(System-Level Integration)을 통해 파지 계획 알고리즘은 독립적인 벤치마크 예측을 넘어 실제 환경에서 신뢰할 수 있는 로봇 조작으로 발전할 수 있다.

05.10. Bin Picking Grasp Planning Production Case [w/Code]

생산용 빈 피킹(Production Bin Picking)은 로봇이 산업 현장에서 요구되는 사이클 시간(Cycle Time)과 신뢰성을 유지하면서 컨테이너 내부에 무작위로 배치된 물체를 반복적으로 획득해야 하기 때문에 로봇 파지 계획(Robotic Grasp Planning)에서 가장 까다로운 응용 분야 중 하나이다. 구조화된 픽앤플레이스(Pick-and-Place)와 달리 물체 자세는 미리 결정되어 있지 않고 매번 물체를 집을 때마다 가시성이 변하며 주변 부품은 심각한 가림(Occlusion)과 충돌 제약조건을 만든다. 따라서 시스템은 인식, 파지 생성, 동작 실현 가능성, 실패 복구를 하나의 생산 프로세스로 통합해야 한다.

일반적인 생산 셀(Production Cell)은 산업용 로봇, 그리퍼(Gripper), RGB-D 또는 3차원 센서, 부품 빈(Parts Bin), 목적지 지그(Destination Fixture), 안전 시스템, 산업용 제어기(Industrial Controller)로 구성된다. 응용 분야에 따라 센서는 빈 상부에 설치하거나 로봇 손목에 부착할 수 있다. 인식 시스템은 가시 형상을 복원하고 물체 자세 또는 파지 가능한 표면을 추정한다. 이러한 관측 결과는 지속적으로 변화하는 장면 조건에서 파지 후보를 생성하는 기반이 된다.

빈 내부에는 동일한 부품, 여러 종류의 부품 또는 알려지지 않은 물체가 포함될 수 있다. 동일한 산업용 부품은 CAD 기반 자세 추정(CAD-Based Pose Estimation)과 모델별 파지 전략을 사용할 수 있지만 혼합되거나 익숙하지 않은 물체는 기하학 기반 파지 검출(Geometry-Driven Grasp Detection)이 필요한 경우가 많다. 생산 아키텍처에서는 두 접근법을 결합하는 경우가 많다. 알려진 부품 정보는 정밀한 기능적 파지(Functional Grasp)를 제공하고 일반적인 6자유도 파지 검출(6-DoF Grasp Detection)은 물체 자세 추정의 신뢰성이 낮아지는 상황에서도 유연성을 제공한다.

가림(Occlusion)은 각 물체의 일부만 보일 수 있기 때문에 근본적인 어려움이다. 부품들은 서로 겹치거나 맞물리거나 빈 벽에 기대거나 다른 물체 아래에 부분적으로 묻힐 수 있다. 파지 계획기는 실제로 보이는 자유 공간(Free Space)과 단순히 관측되지 않은 영역(Unobserved Region)을 구분해야 한다. 미관측 공간을 비어 있다고 처리하면 접근 과정에서 손가락이나 손목이 숨겨진 형상과 충돌할 수 있으므로 신뢰성 높은 배포를 위해 보수적인 점유 추론(Conservative Occupancy Reasoning)이 필수적이다.

따라서 3차원 센싱(Three-Dimensional Sensing)은 생산용 빈 피킹에서 핵심적인 역할을 한다. 구조광 카메라(Structured-Light Camera), 스테레오 시스템(Stereo System), 비행시간 센서(Time-of-Flight Sensor), 산업용 3차원 스캐너는 노출된 표면을 표현하는 깊이 맵(Depth Map)과 포인트 클라우드(Point Cloud)를 생성할 수 있다. 센서 선택은 물체 크기, 재질, 요구 정밀도, 작업 거리, 사이클 시간에 따라 달라진다. 반사성, 어두운색, 투명 재질 또는 가공 금속 표면에는 특수 조명, 다중 시점 또는 대체 센싱 기술이 필요할 수 있다.

장면 전처리(Scene Preprocessing)는 불필요한 형상을 제거하고 관심 영역(Region of Interest)을 설정한다. 빈 바닥, 벽, 지그, 알려진 셀 구조는 명시적으로 모델링할 수 있으며 작업 영역 외부에서 측정된 점은 필터링한다. 이후 잡음 제거, 법선 추정(Normal Estimation), 분할(Segmentation), 포인트 클라우드 다운샘플링(Point-Cloud Downsampling)을 수행할 수 있다. 목적은 단순히 시각적으로 깨끗한 포인트 클라우드를 만드는 것이 아니라 접촉 추론과 충돌 검출에 필요한 기하학 정보를 보존하는 것이다.

파지 생성(Grasp Generation)은 하나의 해를 즉시 결정하는 대신 여러 후보 말단효과기 구성(End-Effector Configuration)을 생성한다. 평행 조 그리퍼(Parallel-Jaw Gripper)의 경우 후보는 일반적으로 위치, 방향, 개방 폭, 삽입 깊이(Insertion Depth), 접근 방향, 품질 점수를 포함한다. 진공 시스템(Vacuum System)은 적절한 표면 영역, 흡착컵 방향, 밀봉 품질(Seal Quality), 여유 공간을 요구한다. 다중 모달 셀(Multi-Modal Cell)은 여러 말단효과기 또는 파지 전략을 평가하여 현재 노출된 형상에 가장 적합한 방법을 선택할 수 있다.

후보 품질(Candidate Quality)은 접촉 형상(Contact Geometry) 평가에서 시작된다. 평행 조 파지는 그리퍼 스트로크(Gripper Stroke) 범위 안에서 안정적인 접촉을 생성할 수 있도록 서로 마주 보는 표면에 손가락을 배치해야 한다. 표면 법선, 국부 곡률(Local Curvature), 물체 두께, 마찰 가정, 추정 무게중심(Center of Mass)을 점수에 반영할 수 있다. 그러나 이론적으로 매우 우수한 파지도 주변 적재물로 인해 접근할 수 없다면 실행할 수 없으므로 접촉 품질만으로는 충분하지 않다.

따라서 장면 수준 충돌 검사(Scene-Level Collision Checking)는 생산 환경에서 가장 중요한 필터 중 하나이다. 손가락, 손바닥, 손목 어댑터(Wrist Adapter), 경우에 따라 로봇 팔 일부를 포함하는 전체 그리퍼 형상을 빈과 관측된 부품에 대해 평가해야 한다. 접근 통로(Approach Corridor) 역시 충분한 여유 공간을 유지해야 한다. 최종 손가락 접촉만 검사하면 그리퍼가 대상에 도달하기 전에 손목이 빈 벽과 충돌하는 파지가 선택될 수 있다.

빈 벽(Bin Wall)은 특히 강한 기하학적 제약조건을 만든다. 모서리 근처의 물체는 안정적인 접촉 표면을 제공할 수 있지만 실제 그리퍼가 구현할 수 없는 접근 방향을 요구할 수 있다. 후보 점수에는 벽과의 여유, 손가락 여유, 손바닥 여유, 인출 방향(Extraction Direction)을 포함할 수 있다. 소프트웨어 최적화만으로 가능한 파지 공간을 확장하는 것보다 특수한 긴 손가락이나 좁은 그리퍼를 사용하는 것이 더 효과적인 경우도 있기 때문에 기계적 말단효과기 설계 역시 중요하다.

로봇 도달 가능성(Robot Reachability)은 다음 필터링 단계를 제공한다. 후보 파지 자세를 로봇 좌표계로 변환한 후 역기구학(Inverse Kinematics)을 이용하여 평가한다. 기술적으로 도달 가능하더라도 관절 한계(Joint Limit)나 특이 구성(Singular Configuration)에 가까운 해는 낮은 점수를 부여할 수 있다. 생산 시스템에서는 이후 물체를 들어 올리고 빈을 벗어나 목적지로 이동해야 하므로 불안정하거나 지나치게 복잡한 관절 움직임을 요구하지 않는 충분한 운동학적 여유(Kinematic Margin)를 가진 구성을 선호한다.

인출 궤적(Extraction Trajectory)은 파지 자체와 별도로 고려할 필요가 있다. 접촉이 형성된 후에는 주변 부품이나 빈 구조물과 충돌하지 않으면서 물체를 적재물에서 꺼내야 한다. 수직 리프트(Vertical Lift)가 일반적으로 사용되지만 항상 최적인 것은 아니다. 기울어져 있거나 걸려 있거나 주변 물체에 의해 제한된 부품은 사용 가능한 자유 공간과 정렬된 초기 움직임을 요구할 수 있다. 따라서 파지와 인출 계획은 함께 평가하는 것이 바람직하다.

서로 맞물린 부품(Interlocking Parts)은 가장 어려운 실패 모드 중 하나를 만든다. 선택한 부품을 안정적으로 파지하더라도 다른 부품이 기계적으로 얽혀 있을 수 있다. 들어 올리는 과정에서 여러 부품이 동시에 움직이거나 예상 페이로드(Payload)를 초과하거나 부품을 손상시키거나 예측할 수 없는 충돌이 발생할 수 있다. 기하학 기반 추론으로 일부 얽힘 위험을 식별할 수 있으며 인출 과정에서 힘 모니터링(Force Monitoring)과 비전을 사용하면 획득한 물체가 예상대로 움직이는지 추가로 확인할 수 있다.

생산 환경의 후보 순위화(Candidate Ranking)는 여러 기준을 실행 가능한 파지 점수(Executable-Grasp Score)로 통합해야 한다. 기하학적 파지 품질, 충돌 여유, 로봇 도달 가능성, 조작성(Manipulability), 인출 실현 가능성, 추정 물체 가시성, 계획 비용, 작업 요구조건 등을 함께 고려할 수 있다. 따라서 가장 높은 신경망 신뢰도 또는 해석적 파지 점수를 가진 후보가 반드시 선택되는 것은 아니다. 여유 공간이 크고 로봇 궤적이 단순한 다소 낮은 점수의 파지가 훨씬 높은 생산 신뢰성을 제공할 수 있다.

사이클 시간(Cycle Time)은 이러한 최적화 방법 자체를 변화시킨다. 가능한 모든 파지에 비용이 높은 동작 계획을 수행하면 처리량(Throughput)이 감소한다. 실용적인 시스템에서는 일반적으로 계산 비용이 증가하는 순서로 필터를 적용한다. 품질이 낮거나 명백하게 충돌하는 후보를 먼저 제거하고 역기구학으로 도달할 수 없는 자세를 제외한 뒤 소수의 유망한 후보에 대해서만 상세한 궤적 계획을 수행한다. 이러한 단계적 아키텍처(Staged Architecture)는 지연시간을 제어하면서 신뢰성을 유지한다.

병렬 계산(Parallel Computation)을 이용하면 의사결정 시간을 추가로 줄일 수 있다. 인식 처리, 후보 점수화, 충돌 검사, 운동학 평가를 여러 가설에 대해 동시에 수행할 수 있다. GPU 기반 파지 네트워크는 조밀한 후보를 빠르게 생성할 수 있고 CPU 스레드는 결정론적 제약조건을 병렬로 평가할 수 있다. 장면 복원, 통신, 계획, 제어기 동기화가 전체 사이클 시간을 지배할 수 있으므로 생산 최적화에서는 신경망 추론 속도만이 아니라 종단간 지연시간(End-to-End Latency)을 고려해야 한다.

선택된 후보는 일반적으로 사전 파지(Pregrasp), 접근(Approach), 파지, 검증(Verification), 인출 순서로 실행된다. 로봇은 먼저 대상 근처의 충돌 없는 구성으로 이동하고 제어된 최종 접근을 수행한 뒤 그리퍼를 닫거나 활성화하고 물체 획득을 검증한 다음 계획된 인출 경로를 따라 후퇴한다. 이러한 단계를 분리하면 실행 상태를 더 쉽게 감시할 수 있으며 실패가 조작 과정의 어느 부분에서 발생했는지 구분할 수 있다.

파지 검증(Grasp Verification)은 실패한 획득이 이후 작업으로 전파되는 것을 방지한다. 평행 조 그리퍼는 손가락 위치, 모터 전류, 힘 또는 촉각 센싱(Tactile Sensing)을 이용하여 물체 존재 여부를 판단할 수 있다. 진공 그리퍼는 압력을 감시할 수 있다. 비전을 통해 대상이 말단효과기와 함께 이동했는지도 확인할 수 있다. 특히 부품 형상 때문에 그리퍼 상태가 모호할 수 있는 경우 하나의 센서에만 의존하는 것보다 여러 신호를 결합하는 것이 일반적으로 더 신뢰성이 높다.

물체 획득에 성공한 후에는 파지된 부품을 움직이는 충돌 형상(Moving Collision Geometry)의 일부로 처리해야 한다. 동작 계획은 물체를 빈에서 꺼내 목적지로 운반하는 동안 해당 물체의 크기를 고려해야 한다. 크거나 긴 부품은 로봇과 그리퍼 자체에는 충분한 여유가 있어도 빈과 충돌할 수 있다. 따라서 안전한 인출과 이후의 배치를 위해서는 정확한 물체 부착(Object Attachment)과 물체 상대 자세(Object-Relative Pose) 추정이 중요하다.

배치 요구조건(Placement Requirement)은 최초의 파지 선택에도 영향을 줄 수 있다. 부품을 지그에 정밀한 방향으로 삽입해야 한다면 직접 배치가 가능한 구성으로 파지하는 것이 이상적이다. 그렇지 않으면 중간 재방향 설정(Reorientation)이나 재파지(Regrasp)가 필요할 수 있다. 생산용 파지 계획은 픽을 확정하기 전에 이후 배치 실현 가능성을 평가하여 단순한 획득뿐 아니라 전체 조작 시퀀스를 최적화함으로써 사이클 시간을 줄일 수 있다.

유효한 파지가 존재하지 않을 때 시스템은 낮은 신뢰도의 후보를 반복적으로 시도해서는 안 된다. 능동 인식(Active Perception)을 통해 다른 시점을 획득할 수 있으며 흔들기, 밀기, 펼치기 또는 제어된 교란(Controlled Disturbance)과 같은 기계적 행동으로 새로운 표면을 노출시킬 수 있다. 이러한 행동은 이후의 파지 기회를 만들기 위해 장면 자체를 변화시킨다. 특히 남은 부품들이 접근하기 어려운 자세로 놓이기 쉬운 빈 바닥 부근에서 이러한 복구 전략이 유용하다.

실패 복구(Failure Recovery)는 예외적인 기능이 아니라 생산 시스템의 핵심 능력이다. 실패한 파지가 여러 물체를 이동시켜 이전 포인트 클라우드를 무효화할 수 있으므로 일반적으로 재계획 전에 장면을 다시 획득해야 한다. 접근 중 충돌, 인출 중 예상하지 못한 힘, 물체 미검출, 배치 실패는 각각 다른 복구 분기(Recovery Branch)를 실행할 수 있다. 명시적인 복구 로직은 개별 오류가 자동화 셀 전체를 정지시키는 것을 방지한다.

마지막 부품 문제(Final-Parts Problem)는 특별히 고려해야 한다. 빈 피킹은 컨테이너가 비어 갈수록 물체가 모서리에 자리 잡거나 바닥에 평평하게 놓이거나 그리퍼가 접근하기 어려운 상태가 되기 때문에 오히려 더 어려워지는 경우가 많다. 가득 찬 빈에서만 측정한 성공률은 이러한 중요한 생산 한계를 숨길 수 있다. 따라서 검증은 전체 빈 소진 주기(Complete Depletion Cycle)를 포함해야 하며 사람이 개입하지 않고 마지막으로 접근 가능한 부품까지 안정적으로 제거할 수 있는지를 평가해야 한다.

기계 설계(Mechanical Design)와 소프트웨어 계획은 공동으로 최적화해야 한다. 손가락 길이, 두께, 스트로크, 순응성(Compliance), 표면 재질, 손목 크기, 센서 위치, 빈 형상은 실행 가능한 파지 공간을 직접 결정한다. 정교한 계획기라도 물리적으로 조밀하게 쌓인 부품 사이에 들어갈 수 없는 그리퍼를 보완할 수는 없다. 반대로 잘 설계된 손가락과 지그는 인식 및 계획 문제를 단순화하여 신뢰성과 처리량을 크게 향상시킬 수 있다.

생산 성능 평가는 단순한 파지 성공률 이상을 측정해야 한다. 유용한 지표에는 시간당 성공 픽 수(Successful Picks per Hour), 평균 사이클 시간, 첫 시도 성공률(First-Attempt Success), 충돌 빈도, 이중 픽 비율(Double-Pick Rate), 복구 빈도, 최종 빈 비우기 성공률(Final-Bin-Clearance Rate), 배치 정확도, 비계획 정지시간(Unplanned Downtime)이 포함된다. 이러한 지표를 통해 파지 품질의 개선이 실제 제조 생산성 증가로 이어지는지를 확인할 수 있다. 또한 신뢰성은 짧은 시연이 아니라 장시간 연속 운전에서 평가해야 한다.

데이터 로깅(Data Logging)은 지속적인 개선에 필수적이다. 각각의 시도에서 센서 관측, 후보 파지, 선택된 자세, 품질 점수, 로봇 궤적, 제어기 피드백, 검증 신호, 최종 결과를 저장할 수 있다. 실패 사례는 인식, 파지, 충돌, 도달 가능성, 인출, 배치 등의 범주로 분류할 수 있다. 이를 통해 실제 생산 운영 자체를 모델, 임계값, 그리퍼 설계, 복구 정책을 개선하기 위한 지속적으로 축적되는 증거 기반(Evidence Base)으로 전환할 수 있다.

학습 기반 파지 모델(Learning-Based Grasp Model)은 이러한 운영 기록으로부터 이점을 얻을 수 있지만 모델 업데이트는 신중하게 도입해야 한다. 생산 시스템은 예측 가능한 동작을 요구하므로 새롭게 학습된 모델은 통제된 배포 전에 오프라인과 시뮬레이션에서 검증해야 한다. 버전 관리된 데이터셋, 모델 체크포인트(Model Checkpoint), 설정 파라미터, 벤치마크 결과를 이용하면 성능 변화를 추적할 수 있다. 목적은 어떠한 비용을 치르더라도 지속적으로 적응하는 것이 아니라 운영 안정성을 희생하지 않으면서 측정 가능한 개선을 달성하는 것이다.

디지털 시뮬레이션(Digital Simulation)은 로봇 형상, 빈, 부품, 센서, 후보 궤적을 재현하여 실제 검증을 보완할 수 있다. 많은 물체 배치를 생성하여 배포 전에 도달 가능성과 충돌 조건을 시험할 수 있다. 시뮬레이션은 특히 드물게 발생하는 기하학적 실패를 발견하는 데 유용하지만 접촉 마찰, 반사성 센싱, 부품 얽힘, 기계적 순응성은 실제 환경과 다를 수 있다. 따라서 실제 하드웨어 시험이 최종적인 검증 기준으로 남아야 한다.

성숙한 생산 아키텍처는 폐루프 인식-계획-실행(Closed Perception-Planning-Execution Loop) 구조로 동작한다. 시스템은 현재 적재 상태를 관측하고 파지를 생성하고 필터링하며 실행 가능한 접근 및 인출 경로를 계획하고 픽을 수행한 후 결과를 검증하고 장면을 갱신한 뒤 과정을 반복한다. 각각의 성공 또는 실패한 상호작용이 실제 물리 세계를 변화시키므로 새로운 센서 증거와 내부 표현을 지속적으로 동기화하여 오래된 가정(Stale Assumption)을 사용하지 않도록 해야 한다.

궁극적으로 생산용 빈 피킹은 파지 계획이 독립적인 파지 검출 문제가 아니라 시스템 엔지니어링(Systems Engineering) 문제임을 보여준다. 높은 성능은 3차원 인식, 접촉 추론, 충돌 검사, 로봇 운동학, 궤적 계획, 말단효과기 설계, 센싱, 검증, 실패 복구, 생산 지표를 통합함으로써 달성된다. 따라서 성공적인 배포는 인상적인 파지 자세를 생성하는 능력이 아니라 불확실하고 복잡한 적재 장면을 산업 생산 처리량(Industrial Throughput)을 만족하는 신뢰할 수 있는 물리적 픽으로 반복적으로 변환하는 능력으로 정의된다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)