바이낸스, 자체 개발 '스몰 파일 닥터' 도입… 연간 최대 10만 달러 비용 절감

지연시간·성능·비용 개선

5900만개 파편화 파일 95% 이상 감축

글로벌 가상자산 거래소 바이낸스가 자체 개발한 '스몰 파일 닥터(Small File Doctor)' 프레임워크를 통해 대규모 데이터 처리의 비효율을 개선하고 시스템 안정성을 확보했다. ⓒ바이낸스

글로벌 가상자산 거래소 바이낸스는 자체 개발한 '스몰 파일 닥터(Small File Doctor)' 프레임워크를 통해 대규모 데이터 처리의 비효율을 개선하고 시스템 안정성을 확보했다고 16일 밝혔다.

스몰 파일 문제는 메타데이터 처리 부담 증가, 읽기 증폭, 지연 시간 악화 등으로 이어지며 바이낸스처럼 다양한 워크플로우가 동시에 운영되는 환경에서는 서비스 품질 저하로 직결될 수 있다.

바이낸스는 수작업이 아닌 자동화된 프레임워크를 구축해 파일 최적화 작업을 일반적인 운영 환경에서도 지속 실행할 수 있도록 했다. S3, HDFS 등의 스토리지 메타데이터를 분석해 스몰 파일이 많은 디렉터리를 선별하고 데이터 소비 패턴을 기준으로 최적화 우선순위를 결정한다. 병합 여부는 파일 수와 크기를 기준으로 판단하며 불필요한 반복 작업을 막기 위한 안전 규칙도 적용된다.

해당 작업은 오프피크 시간대에 수행되며 클러스터 과부하를 방지하기 위해 동시 실행 수를 제한한다. 작업 이력은 거버넌스 로그로 관리돼, 중단 시에도 중복 처리 없이 이어서 실행 가능하다.

바이낸스는 이 프레임워크를 통해 533개 테이블에서 약 5900만개의 스몰 파일을 290만개 수준으로 줄였으며 연간 9만~10만 달러 규모의 컴퓨트 및 스토리지 비용을 절감했다고 밝혔다.

바이낸스는 향후 스몰 파일 닥터를 스케쥴러와 통합, 파티션이 생성되면 병합 및 검증 등의 최적화 작업이 완료된 이후 데이터 접근이 가능하도록 구조를 변경해 성능 개선 효과를 극대화할 계획이다.

바이낸스 관계자는 "스몰 파일 닥터는 데이터 규모와 서비스 복잡성이 증가하는 환경에서 바이낸스의 시스템 안정성을 유지하는 데 중요한 역할을 하고 있다"며 "지속적인 프레임워크 고도화를 통해 ‘보이지 않는 병목’을 유발하는 스몰 파일 문제를 근본적으로 해결하겠다"고 말했다.