메인 콘텐츠로 건너뛰기

​
개요

Bring your own bucket (BYOB)를 사용하면 W&B Artifacts 및 기타 관련 민감 데이터를 자체 클라우드 또는 온프레미스 인프라에 저장할 수 있습니다. 전용 클라우드 또는 Multi-tenant Cloud의 경우, 귀하의 버킷에 저장된 데이터는 W&B가 관리하는 인프라로 복제되지 않습니다.
  • W&B SDK / CLI / UI와 버킷 간의 통신은 pre-signed URLs를 사용하여 이루어집니다.
  • W&B는 가비지 컬렉션 프로세스를 사용하여 W&B Artifacts를 삭제합니다. 자세한 내용은 Artifacts 삭제하기를 참조하세요.
  • 버킷을 구성할 때 하위 경로(sub-path)를 지정하여, W&B가 버킷의 루트 폴더에 파일을 저장하지 않도록 설정할 수 있습니다. 이는 조직의 버킷 거버넌스 정책을 준수하는 데 도움이 됩니다.

​
중앙 데이터베이스 vs 버킷에 저장되는 데이터

BYOB 기능을 사용할 때 특정 유형의 데이터는 W&B 중앙 데이터베이스에 저장되고, 다른 유형은 귀하의 버킷에 저장됩니다.

​
데이터베이스

  • Users, Teams, Artifacts, Experiments, Projects의 메타데이터
  • Reports
  • Experiment 로그
  • 시스템 메트릭
  • 콘솔 로그

​
버킷

  • Experiment 파일 및 메트릭
  • Artifact 파일
  • 미디어 파일
  • Run 파일
  • Parquet 형식으로 내보낸 히스토리 메트릭 및 시스템 이벤트

​
버킷 범위 (Scopes)

스토리지 버킷은 두 가지 범위로 구성할 수 있습니다.
범위설명
인스턴스 레벨전용 클라우드 및 Self-Managed에서 조직 또는 인스턴스 내 필요한 권한을 가진 모든 사용자는 인스턴스 스토리지 버킷에 저장된 파일에 엑세스할 수 있습니다. Multi-tenant Cloud에는 적용되지 않습니다.
팀 레벨W&B Team이 팀 레벨 스토리지 버킷을 사용하도록 설정된 경우, 팀 멤버는 해당 버킷에 저장된 파일에 엑세스할 수 있습니다. 팀 레벨 스토리지 버킷은 매우 민감한 데이터를 다루거나 엄격한 컴플라이언스 요구 사항이 있는 팀을 위해 더 강력한 데이터 엑세스 제어와 데이터 격리를 제공합니다.

팀 레벨 스토리지는 인스턴스를 공유하는 서로 다른 비즈니스 단위나 부서가 인프라 및 관리 리소스를 효율적으로 사용하는 데 도움이 됩니다. 또한 별도의 프로젝트 팀이 개별 고객 업무를 위한 AI 워크플로우를 관리할 수 있게 해줍니다. 모든 배포 유형에서 사용 가능합니다. 팀을 설정할 때 팀 레벨 BYOB를 구성합니다.
이러한 유연한 설계를 통해 조직의 요구 사항에 따라 다양한 스토리지 토폴로지를 구성할 수 있습니다. 예를 들면 다음과 같습니다.
  • 동일한 버킷을 인스턴스와 하나 이상의 팀이 함께 사용할 수 있습니다.
  • 각 팀이 별도의 버킷을 사용하거나, 일부 팀은 인스턴스 버킷에 쓰고, 여러 팀이 하위 경로를 지정하여 하나의 버킷을 공유할 수도 있습니다.
  • 서로 다른 팀의 버킷을 각기 다른 클라우드 인프라 환경이나 리전에 호스팅할 수 있으며, 서로 다른 스토리지 관리 팀에서 관리할 수 있습니다.
예를 들어, 조직 내에 Kappa라는 팀이 있다고 가정해 보겠습니다. 기본적으로 조직(및 Team Kappa)은 인스턴스 레벨 스토리지 버킷을 사용합니다. 다음으로 Omega라는 팀을 만듭니다. Team Omega를 생성할 때 이 팀을 위한 팀 레벨 스토리지 버킷을 구성합니다. Team Omega가 생성한 파일은 Team Kappa가 엑세스할 수 없습니다. 그러나 Team Kappa가 생성한 파일은 Team Omega가 엑세스할 수 있습니다. Team Kappa의 데이터를 격리하려면 해당 팀에 대해서도 팀 레벨 스토리지 버킷을 구성해야 합니다.

​
가용성 매트릭스

W&B는 다음 스토리지 제공업체와 연결할 수 있습니다.
  • CoreWeave AI Object Storage: AI 워크로드에 최적화된 고성능 S3 호환 오브젝트 스토리지 서비스입니다.
  • Amazon S3: 업계 최고 수준의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 오브젝트 스토리지 서비스입니다.
  • Google Cloud Storage: 비정형 데이터를 대규모로 저장하기 위한 관리형 서비스입니다.
  • Azure Blob Storage: 텍스트, 바이너리 데이터, 이미지, 비디오, 로그와 같은 방대한 양의 비정형 데이터를 저장하기 위한 클라우드 기반 오브젝트 스토리지 솔루션입니다.
  • MinIO Enterprise (AIStor)와 같은 S3 호환 스토리지 또는 귀하의 클라우드나 온프레미스 인프라에 호스팅된 기타 엔터프라이즈급 솔루션.
다음 표는 각 W&B 배포 유형별 BYOB 가용 범위를 보여줍니다.
W&B 배포 유형인스턴스 레벨팀 레벨추가 정보
전용 클라우드✓✓CoreWeave AI Object Storage, Amazon S3, Google Cloud Storage, Microsoft Azure Blob Storage 및 귀하의 클라우드나 온프레미스 인프라에 호스팅된 MinIO Enterprise (AIStor)와 같은 S3 호환 스토리지에 대해 인스턴스 및 팀 레벨 BYOB가 지원됩니다.
Multi-tenant Cloud해당 없음✓1CoreWeave AI Object Storage, Amazon S3 및 Google Cloud Storage에 대해 팀 레벨 BYOB가 지원됩니다.
Self-Managed✓✓CoreWeave AI Object Storage, Amazon S3, Google Cloud Storage, Microsoft Azure Blob Storage 및 귀하의 클라우드나 온프레미스 인프라에 호스팅된 MinIO Enterprise (AIStor)와 같은 S3 호환 스토리지에 대해 인스턴스 및 팀 레벨 BYOB가 지원됩니다.
1.Azure Blob Storage는 Multi-tenant Cloud의 팀 레벨 BYOB에서 지원되지 않습니다. 다음 섹션에서는 BYOB 설정 프로세스를 안내합니다.

​
버킷 프로비저닝

가용성 확인을 마쳤다면, 엑세스 정책 및 CORS를 포함하여 스토리지 버킷을 프로비저닝할 준비가 된 것입니다. 계속하려면 탭을 선택하세요.
요구 사항:
  • Multi-tenant Cloud, 또는
  • 전용 클라우드 v0.73.0 이상, 또는
  • Helm 차트 v0.33.14 이상으로 배포된 Self-Managed v0.73.0 이상
  • AI Object Storage가 활성화되어 있고 버킷 생성, API 엑세스 키 및 비밀 키 생성 권한이 있는 CoreWeave 계정.
  • W&B 인스턴스가 CoreWeave 네트워크 엔드포인트에 연결할 수 있어야 합니다.
자세한 내용은 CoreWeave 문서의 CoreWeave AI Object Storage 버킷 생성을 참조하세요.
  1. Multi-tenant Cloud: 버킷 정책에 필요한 조직 ID를 가져옵니다.
    1. W&B App에 로그인합니다.
    2. 왼쪽 내비게이션에서 Create a new team을 클릭합니다.
    3. 열리는 드로어에서 Invite team members 위에 있는 W&B 조직 ID를 복사합니다.
    4. 이 페이지를 열어 두세요. 나중에 W&B 설정 시 사용합니다.
  2. 전용 클라우드 / Self-Managed: 버킷 정책에 필요한 고객 네임스페이스를 가져옵니다.
    1. W&B App에서 사용자 프로필 아이콘을 클릭한 다음 System Console을 클릭합니다.
    2. Authentication 탭을 클릭합니다.
    3. 페이지 하단에서 Customer Namespace 값을 복사합니다. 이 값을 버킷 정책 설정 시 사용합니다.
    4. System Console을 닫아도 됩니다.
  3. CoreWeave에서 원하는 이름으로 선호하는 CoreWeave 가용 영역에 버킷을 생성합니다. 필요한 경우 W&B가 모든 파일의 하위 경로로 사용할 폴더를 생성합니다. 버킷 이름, 가용 영역, API 엑세스 키, 비밀 키 및 하위 경로를 기록해 둡니다.
  4. 버킷에 대해 다음 CORS(Cross-origin resource sharing) 정책을 설정합니다. 
    [
  {
    "AllowedHeaders": [
      "*"
    ],
    "AllowedMethods": [
      "GET",
      "HEAD",
      "PUT"
    ],
    "AllowedOrigins": [
      "*"
    ],
    "ExposeHeaders": [
      "ETag"
    ],
    "MaxAgeSeconds": 3000
  }
]
    CoreWeave 스토리지는 S3와 호환됩니다. CORS에 대한 자세한 내용은 AWS 문서의 교차 출처 리소스 공유(CORS) 구성을 참조하세요.
  5. W&B 배포가 버킷에 엑세스하고 클라우드 인프라의 AI 워크로드나 사용자 브라우저가 버킷에 엑세스하는 데 사용하는 pre-signed URLs를 생성할 수 있도록 필요한 권한을 부여하는 버킷 정책을 구성합니다. CoreWeave 문서의 Bucket Policy Reference를 참조하세요. 
    {
  "Version": "2012-10-17",
  "Statement": [
  {
    "Sid": "AllowWandbUser",
    "Action": [
      "s3:GetObject*",
      "s3:GetEncryptionConfiguration",
      "s3:ListBucket",
      "s3:ListBucketMultipartUploads",
      "s3:ListBucketVersions",
      "s3:AbortMultipartUpload",
      "s3:DeleteObject",
      "s3:PutObject",
      "s3:GetBucketCORS",
      "s3:GetBucketLocation",
      "s3:GetBucketVersioning"
    ],
    "Effect": "Allow",
    "Resource": [
      "arn:aws:s3:::<cw-bucket>/*",
      "arn:aws:s3:::<cw-bucket>"
    ],
    "Principal": {
      "CW": "arn:aws:iam::wandb:static/<wb-cw-principal>"
    },
    "Condition": {
      "StringLike": {
        "wandb:OrgID": [
          "<wb-org-id>"
        ]
      }
    }
  },
  {
    "Sid": "AllowUsersInOrg",
    "Action": "s3:*",
    "Effect": "Allow",
    "Resource": [
      "arn:aws:s3:::<cw-bucket>",
      "arn:aws:s3:::<cw-bucket>/*"
    ],
    "Principal": {
      "CW": "arn:aws:iam::<cw-storage-org-id>:*"
    }
  }]
}
    "Sid": "AllowUsersInOrg"로 시작하는 절은 조직 내 사용자에게 버킷에 대한 직접 엑세스 권한을 부여합니다. 이 기능이 필요하지 않은 경우 정책에서 해당 절을 생략할 수 있습니다.
  6. 버킷 정책에서 자리 표시자를 교체합니다.
    • <cw-bucket>: 귀하의 버킷 이름.
    • <cw-wandb-principal>:
      • Multi-tenant Cloud: arn:aws:iam::wandb:static/wandb-integration-public
      • 전용 클라우드 또는 Self-Managed: arn:aws:iam::wandb:static/wandb-integration
    • <wb-org-id>:
  7. 전용 클라우드: 지원 팀에 문의하여 추가 단계를 완료하세요.
  8. Self-Managed: 환경 변수 GORILLA_SUPPORTED_FILE_STORES를 정확히 cw:// 문자열로 설정하도록 W&B 배포를 업데이트하고 W&B를 재시작합니다. 그렇지 않으면 팀 스토리지를 구성할 때 CoreWeave 옵션이 나타나지 않습니다.
다음으로, W&B를 설정합니다.
다음으로, 스토리지 주소를 결정합니다.

​
스토리지 주소 결정

이 섹션에서는 W&B Team을 BYOB 스토리지 버킷에 연결하는 데 사용하는 구문을 설명합니다. 예시에서 꺾쇠괄호(<>) 안의 자리 표시자 값을 버킷의 세부 정보로 교체하세요. 자세한 안내를 위해 탭을 선택하세요.
이 섹션은 전용 클라우드 또는 Self-Managed의 팀 레벨 BYOB에만 해당됩니다. 인스턴스 레벨 BYOB 또는 Multi-tenant Cloud의 경우, W&B 설정 단계로 넘어갈 준비가 되었습니다.다음 형식을 사용하여 전체 버킷 경로를 결정합니다. 꺾쇠괄호(<>) 안의 자리 표시자를 버킷 값으로 교체합니다.버킷 형식:
cw://<accessKey>:<secretAccessKey>@cwobject.com/<bucketName>?tls=true
cwobject.com HTTPS 엔드포인트가 지원됩니다. TLS 1.3이 필요합니다. 다른 CoreWeave 엔드포인트에 관심이 있는 경우 지원 팀에 문의하세요.
스토리지 주소를 결정한 후, 팀 레벨 BYOB를 구성할 준비가 되었습니다.

​
W&B 구성

버킷 프로비저닝 및 주소 결정을 마쳤다면, 인스턴스 레벨 또는 팀 레벨에서 BYOB를 구성할 수 있습니다.
스토리지 버킷 레이아웃을 신중하게 계획하세요. W&B용 스토리지 버킷을 구성한 후 데이터를 다른 버킷으로 마이그레이션하는 것은 복잡하며 W&B의 지원이 필요합니다. 이는 전용 클라우드 및 Self-Managed의 스토리지뿐만 아니라 Multi-tenant Cloud의 팀 레벨 스토리지에도 적용됩니다. 질문이 있는 경우 지원 팀에 문의하세요.

​
인스턴스 레벨 BYOB

인스턴스 레벨의 CoreWeave AI Object Storage의 경우, 이 지침을 따르는 대신 W&B 지원 팀에 문의하세요. 셀프 서비스 구성은 아직 지원되지 않습니다.
전용 클라우드의 경우: 전용 클라우드 인스턴스를 구성할 W&B 팀과 버킷 세부 정보를 공유하세요. Self-Managed의 경우, W&B App을 사용하여 인스턴스 레벨 BYOB를 구성할 수 있습니다.
  1. admin 역할을 가진 사용자로 W&B에 로그인합니다.
  2. 상단의 사용자 아이콘을 클릭한 다음 System Console을 클릭합니다.
  3. Settings > System Connections로 이동합니다.
  4. Bucket Storage 섹션에서 Identity 필드의 ID가 새 버킷에 대한 엑세스 권한을 가지고 있는지 확인합니다.
  5. Provider를 선택합니다.
  6. Bucket Name을 입력합니다.
  7. 필요한 경우 새 버킷에서 사용할 Path를 입력합니다.
  8. Save를 클릭합니다.
Self-Managed의 경우, W&B는 필요한 엑세스 메커니즘 및 관련 IAM 권한과 함께 스토리지 버킷을 프로비저닝하기 위해 W&B가 관리하는 Terraform 모듈을 사용할 것을 권장합니다.

​
팀 레벨 BYOB

W&B App을 사용하여 팀을 생성하는 동안 팀 레벨 BYOB를 구성할 수 있습니다. 두 가지 옵션이 있습니다.
  • 기존 버킷 사용: 먼저 버킷의 스토리지 위치를 결정해야 합니다.
  • 새 버킷 생성 (Multi-tenant Cloud 전용): 팀을 생성할 때 W&B가 클라우드 공급자에 버킷을 자동으로 생성할 수 있습니다. 이는 CoreWeave, AWS, Google Cloud에서 지원됩니다.
  • 팀이 생성된 후에는 스토리지를 변경할 수 없습니다.
  • 인스턴스 레벨 BYOB의 경우, 대신 인스턴스 레벨 BYOB를 참조하세요.
  • 팀을 위해 CoreWeave 스토리지를 구성하려는 경우, 팀이 생성된 후에는 스토리지 세부 정보를 변경할 수 없으므로 CoreWeave 요구 사항을 검토하고 지원 팀에 문의하여 CoreWeave에서 버킷이 올바르게 구성되었는지, 팀 구성이 유효한지 확인하세요.
계속하려면 배포 유형을 선택하세요.
  1. 전용 클라우드: 팀을 위해 스토리지 버킷을 사용하기 위한 나머지 단계를 따르기 전에, 계정 팀에 버킷 경로를 제공하여 인스턴스의 지원되는 파일 저장소에 추가해야 합니다.
  2. Self-Managed: 팀을 위해 스토리지 버킷을 사용하기 위한 나머지 단계를 따르기 전에, GORILLA_SUPPORTED_FILE_STORES 환경 변수에 버킷 경로를 추가하고 W&B를 재시작해야 합니다.
  3. admin 역할을 가진 사용자로 W&B에 로그인하고, 왼쪽 상단의 아이콘을 클릭하여 왼쪽 내비게이션을 연 다음 Create a team to collaborate를 클릭합니다.
  4. 팀 이름을 입력합니다.
  5. Storage Type을 External storage로 설정합니다.
    인스턴스 레벨 버킷이 BYOB로 구성되어 있더라도, 인스턴스 레벨 스토리지를 팀 스토리지로 사용하려면 (내부 또는 외부 여부에 관계없이) Storage Type을 Internal로 유지하세요. 팀을 위해 별도의 외부 스토리지를 사용하려면 팀의 Storage Type을 External로 설정하고 다음 단계에서 버킷 세부 정보를 구성하세요.
  6. Bucket location을 클릭합니다.
  7. 기존 버킷을 사용하려면 목록에서 선택합니다. 새 버킷을 추가하려면 하단의 Add bucket을 클릭한 다음 버킷 세부 정보를 입력합니다. Cloud provider를 클릭하고 CoreWeave, AWS, Google Cloud, 또는 Azure를 선택합니다. 클라우드 공급업체가 목록에 없으면 버킷 프로비저닝의 지침에 따라 인스턴스의 지원되는 파일 저장소에 버킷 경로를 추가했는지 확인하세요. 그래도 스토리지 제공업체가 목록에 없으면 지원 팀에 문의하세요.
  8. 버킷 세부 정보를 지정합니다.
    • CoreWeave의 경우 버킷 이름만 입력합니다.
    • Amazon S3, Google Cloud 또는 S3 호환 스토리지의 경우 이전에 결정한 전체 버킷 경로를 입력합니다.
    • W&B Dedicated 또는 Self-Managed의 Azure의 경우, Account name을 Azure 계정으로, Container name을 Azure blob 스토리지 컨테이너로 설정합니다.
    • 필요한 경우 추가 연결 설정을 제공합니다.
      • 해당하는 경우 Path를 버킷 하위 경로로 설정합니다.
      • CoreWeave: 추가 연결 설정이 필요하지 않습니다.
      • AWS: KMS key ARN을 KMS 암호화 키의 ARN으로 설정합니다.
      • Google Cloud: 추가 연결 설정이 필요하지 않습니다.
      • Azure: Tenant ID 및 Managed Identity Client ID 값을 지정합니다. GORILLA_SUPPORTED_FILE_STORES로 연결 문자열을 구성하지 않은 경우 이 필드들은 필수입니다.
  9. Create team을 클릭합니다.
W&B가 버킷에 엑세스하는 중에 오류가 발생하거나 잘못된 설정을 감지하면 페이지 하단에 오류 또는 경고가 표시됩니다. 그렇지 않으면 팀이 생성됩니다.

​
문제 해결

이 섹션은 CoreWeave AI Object Storage 연결 문제를 해결하는 데 도움이 됩니다.
  • 연결 오류
    • W&B 인스턴스가 CoreWeave 네트워크 엔드포인트에 연결할 수 있는지 확인하세요.
    • CoreWeave는 가상 호스팅 스타일 경로를 사용하며, 버킷 이름은 경로의 시작 부분에 서브도메인으로 위치합니다. 예를 들어 cw://bucket-name.cwobject.com은 맞지만, cw://cwobject.com/bucket-name/은 틀립니다.
    • 버킷 이름에는 언더스코어(_)나 DNS 규칙에 어긋나는 문자가 포함되어서는 안 됩니다.
    • 버킷 이름은 모든 CoreWeave 위치에서 전역적으로 유일해야 합니다.
    • 버킷 이름은 예약된 접두사인 cw- 또는 vip-로 시작해서는 안 됩니다.
  • CORS 유효성 검사 실패
    • CORS 정책이 필요합니다. CoreWeave는 S3와 호환됩니다. CORS에 대한 자세한 내용은 AWS 문서의 교차 출처 리소스 공유(CORS) 구성을 참조하세요.
    • AllowedMethods에 GET, PUT, HEAD 메소드가 포함되어야 합니다.
    • ExposeHeaders에 ETag가 포함되어야 합니다.
    • W&B 프런트엔드 도메인이 CORS 정책의 AllowedOrigins에 포함되어야 합니다. 이 페이지에 제공된 예시 CORS 정책은 *를 사용하여 모든 도메인을 포함합니다.
  • LOTA 엔드포인트 문제
    • W&B에서 LOTA 엔드포인트로 연결하는 것은 아직 지원되지 않습니다. 관심이 있는 경우 지원 팀에 문의하세요.
  • 엑세스 키 및 권한 오류
    • CoreWeave API 엑세스 키가 만료되지 않았는지 확인하세요.
    • CoreWeave API 엑세스 키와 비밀 키가 GetObject, PutObject, DeleteObject, ListBucket 권한을 충분히 가지고 있는지 확인하세요. 이 페이지의 예시는 이 요구 사항을 충족합니다. CoreWeave 문서의 엑세스 키 생성 및 관리를 참조하세요.