학술대회

일정

12월 22일(화)

12월 23일(수)

오전

09:30 ~ 11:30

MuJoCo + ROS 2 브리지 구조와 주행형 양팔 로봇 모델링

MoveIt 기반 양팔 제어와 Pick & Place 스킬 구현

11:30 ~ 12:30

중식

오후

13:30 ~ 16:30

SLAM · Nav2 자율주행 구성 및 전반부 통합 Dem

LMM Task Planning 연동과 End-to-End Final Mission

일정

12월 22일(화) 오전

제목

MuJoCo + ROS 2 브리지 구조와 주행형 양팔 로봇 모델링

내용

■ Gazebo vs MuJoCo / 전체 Architecture

・두 시뮬레이터의 구조와 물리 연산 방식, ROS 2 연동 방식 비교

・비교 설명 이후 본 과정의 모든 실습은 MuJoCo로만 진행 (Gazebo 미사용)

・본 과정의 전체 파이프라인 개관

■ MuJoCo ↔ ROS 2 브리지

・스텝 루프에서 Topic / TF / Joint State / Control 인터페이스를 만드는 구조

・최소 브리지 예제 실행 (/clock, /joint_states, TF, /odom, /scan 발행)

■ 주행형 양팔 로봇 Launch / Robot Description

・URDF · Xacro 통합 구조 (모바일 베이스 → 양팔 → 센서)

・Joint · Link · TF 트리 확인, URDF → MJCF 변환

■ Sensor / TF / Odometry / LiDAR

・라이다 → LaserScan, 바퀴 오도메트리 → /odom + TF

・use_sim_time과 센서 프레임 설정

일정

12월 22일(화) 오후

제목

SLAM Toolbox와 Nav2를 이용한 창고 자율주행 구성

내용

■ SLAM

・SLAM Toolbox와 MuJoCo 연결, 주요 파라미터

・15 × 11 m 창고 지도 생성 및 저장

■ Nav2

・AMCL, costmap, Global / Local Planner 구성

・보행자·지게차·팔레트 등 동적 장애물 회피

・Goal Pose 기반 자율주행 실습

■ 전반부 통합 Demo

・Launch → MuJoCo → LiDAR → SLAM → Nav2 전체 연결

・양팔 로봇이 창고를 자율주행하는 상태까지 완성

일정

12월 23일(수) 오전

제목

MoveIt 기반 양팔 제어와 Mobile Manipulation Pick & Place

내용

■ MoveIt + MuJoCo

・Planning Group / Planning Scene 구성

・MoveIt ↔ MuJoCo Joint Control 연결

■ Arm / End-Effector Control

・IK, Pose Goal, Cartesian Path

・그리퍼 제어 및 양팔 동시 제어

■ Pick & Place

・카메라 검출로 상자 위치 확인 → 접근 → 파지 → 들기 → 놓기

・Planning Scene 물체 attach / detach

■ Navigation + Pick & Place 통합

・주행 → ArUco 마커 정밀 도킹 → 파지 → 운반 → 도킹 → 놓기 상태 기계

・스킬 하나가 Nav2와 MoveIt을 함께 호출하는 구조 이해

일정

12월 23일(수) 오후

제목

LMM Task Planning 연동과 자연어 기반 End-to-End 로봇 제어

내용

■ LMM + OpenAI API

・자연어 → Structured Command 변환, Structured Outputs (pydantic 스키마)

・스키마 검증과 세계(World) 검증의 분리, 변환 정확도 측정

■ LMM → ROS 2 Task Pipeline

・작업 단계 목록(navigate / detect / pick / place)을 Task Manager가 순차 실행

・되묻기·확인 대화, 인터록, 실패 복구

■ MuJoCo Web Dashboard

・브라우저에서 로봇 상태 모니터링 및 자연어 지령 입력

・ROS 2 / MuJoCo / 웹 사이의 데이터 흐름

■ Final Mission

・지령 예: “픽업 작업대로 이동해서 빨간 상자를 집고 적재 작업대로 옮겨.”

・Navigate(pick_table) → Detect(red parcel) → Pick → Navigate(place_table) → Place