알고 보니 쿠버네티스 위였다
H100 워크스페이스를 운영하는 내내 이상한 동작들이 있었다. 재시작하면 설치한 파이썬이 증발하고, 볼륨에 둔 파일만 살아남고, SFTP 서버는 만들 때마다 포트가 바뀌었다. 그때는 "이 플랫폼은 원래 이런가 보다" 하고 각각 대응했는데, 어느 날 SFTP 서버 상세 화면에서 Pod와 Service라는 항목을 발견했다. 쿠버네티스 고유 오브젝트 이름이다. 그동안 겪은 모든 게 한 번에 설명되는 순간이었다.
H100 워크스페이스를 운영하는 내내 이상한 동작들이 있었다. 재시작하면 설치한 파이썬이 증발하고, 볼륨에 둔 파일만 살아남고, SFTP 서버는 만들 때마다 포트가 바뀌었다. 그때는 "이 플랫폼은 원래 이런가 보다" 하고 각각 대응했는데, 어느 날 SFTP 서버 상세 화면에서 Pod와 Service라는 항목을 발견했다. 쿠버네티스 고유 오브젝트 이름이다. 그동안 겪은 모든 게 한 번에 설명되는 순간이었다.
SFTP 삽질이 끝나고 워크스페이스 리소스 설정을 다시 들여다보다가
이상한 점을 발견했다. 리소스셋 이름에 gpu-block-855mb라는 단위가 들어 있는데,
정작 컨테이너에서 nvidia-smi를 치면 H100 80GB가 통째로 잡혀 있었다. 855MB짜리
블록이라는 이름과 80GB라는 표시가 같이 있을 수는 없다. 둘 중 하나는 거짓말이라고
생각했는데, 결론부터 말하면 둘 다 참이었다.
연구실 H100 사용 매뉴얼의 파일 전송 챕터를 쓰려고 SFTP 업로드를 검증하다가, 파일 하나 올리는 데 이틀이 걸렸다. 결과만 보면 원인은 한 줄인데, 그 한 줄에 도달하는 과정에서 네트워크 계층과 권한 계층을 한 바퀴 돌았다. 당시 기록에 "나는 몽총 관리자이다"라고 적어놨을 정도로 자책했지만, 지나고 보니 이 삽질이 매뉴얼에서 제일 가치 있는 챕터가 됐다.
클라우드 요금 없이 내 서비스를 직접 운영해보고 싶었습니다. 마침 집에 PC 가 있었고, 결과적으로 지금 이 글은 그 PC 에서 서빙되고 있습니다. 공유기 포트포워딩도, 공인 IP 도, DDNS 도 없이요. 이 글은 그 과정에서 배운 것과 삽질의 기록입니다.