[신규 오픈 기념] 데이스쿨 최대 40% 할인 🎁
상금 :
인증서
[Private 6위/0.98478] GraphCodeBERT 근데 이제 TPU와 TFRecord를 곁들인
2024.04.05 23:40
215
조회
안녕하세요 닥터페퍼마시따 입니다.
먼저, 제 코드는 월간 데이콘 코드 유사성 판단 AI 경진대회에서 [Private 2nd, 0.9837]로 우수한 성적을 거두신 vecxoz 님의 코드를 기반으로 구현 했다는 것을 말씀 드리겠습니다.
[Private 2nd, 0.9837], Part 1 of 2, Summary, Data creation - DACON
https://dacon.io/competitions/official/235900/codeshare/5170?page=1&dtype=recent
[Private 2nd, 0.9837], Part 2 of 2, GraphCodeBERT - DACON
https://dacon.io/competitions/official/235900/codeshare/5171?page=1&dtype=recent
개발 환경은 Google Colab으로 TPU를 사용했습니다.
주요 라이브러리 버전은 다음과 같습니다.
Tensorflow – 2.12.0
Transformers – 4.38.2
Pandas – 1.5.3
Numpy – 1.23.5
Sklearn – 1.2.2
사전 준비물로 반드시 필요한 것이 있는데
바로 TFRecord 데이터를 저장할 Google Cloud Storage 버킷입니다.
구글 클라우드로 가셔서 프로젝트를 생성하신 다음 Cloud Storage로 가시면 상단에 '+만들기'가 있을 겁니다.
클릭하셔서 옵션설정 후 생성하시면 버킷이 만들어집니다.
그후 만들어진 버킷의 가장 우측에 점 세게가 세로로 나열된 것을 클릭하시면 여러 옵션이 뜰텐데 최상단의 액세스 수정에 들어갑니다.
여기서 +주 구성원 추가를 클릭하시고 새 주 구성원에 자신의 구글 아이디를 넣고 스토리지 객체 사용자 역할을 주고 저장,
코랩에서 이용하는 service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com 형식의 tpu 아이디를 넣고 저장소 개체 뷰어 역할을 주고 저장하시면 준비 완료입니다.
PDF
코드
목록으로
이전 글
이전 글이 존재하지 않습니다.
현재 글
[Private 6위/0.98478] GraphCodeBERT 근데 이제 TPU와 TFRecord를 곁들인
대회 - 코드 유사성 판단 시즌2 AI 경진대회
좋아요 6
조회 215
댓글 1
한 달 전
다음 글
[private3위/ 0.9861] graphcodebert
대회 - 코드 유사성 판단 시즌2 AI 경진대회
좋아요 11
조회 370
댓글 4
2달 전
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
코랩에서 사용되는 tpu의 service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com 형식의 아이디(서비스 계정)는 코랩에서 직접적으로 찾아 주는 기능이 없어서 간접적으로 찾아야 되는 것으로 알고 있습니다.
우선 버킷에 대한 접근 권한 없이 학습을 진행 시키면 PermissionDeniedError가 뜨면서 "message": "service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com does not have storage.objects.list access to the Google Cloud Storage bucket. Permission 'storage.objects.list' denied on resource 이런식으로 tpu의 서비스 계정을 알려줍니다.
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com 이걸 복사 하여서 위에서 말한 방식대로 버킷에 대한 접근 권한(역할)을 주시면 오류 없이 진행 될 것입니다. 런타임 초기화 후에는 주셨던 역할을 회수하시고, 새로운 런타임을 실행하실 때마다 tpu 서비스 계정 역할 부여를 다시 하시면 됩니다.