git1 huggingface dataset upload 하기 with cmd git-lfs LLM 학습데이터를 사용하면서 huggingface에 데이터를 upload 할 필요가 있었다. 웹 사이트에서도 가능하지만 작업 중인 서버에서 데이터를 올리기 위해서는 번거로운 과정이 필요했으며 서버에서 바로 huggingface dataset에 올리는 방법이 필요했다. git-lfs 설치 lfs는 Large File Storage 의 약자이다. 100M 이상의 파일을 git으로 push 할 때 필요한 프로그램이다. 사용법은 일반적인 git과 비슷하기 때문에 쉽게 사용할 수 있다. 설치명령어는 아래와 같다. bash:$ apt-get install git-lfs huggingface cli 로그인 huggingface repository에 접근하기 위해서는 cli를 통한 로그인이 필요하며 로그인 시에는 a.. 2024. 1. 23. 이전 1 다음
