| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
- ubuntu
- Database
- TORCH
- git
- file
- Container
- GitLab
- pytorch
- Flask
- format
- PostgreSQL
- list
- judge
- pandas
- DB
- numpy
- Converting
- AI
- KAKAO
- docker
- Paper
- LLM
- Package
- 책갈피
- evaluation
- Windows
- Python
- Mac
- Laravel
- Linux
- Today
- Total
목록TORCH (2)
Daily Develope
m반쩨 GPU device 사용 improt os # 1번째 device만 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "1" # 2, 3번째 device 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "2,3" # 혹은 terminal에서 export 환경변수로 선언해 사용 # export CUDA_VISIBLE_DEVICES=1 GPU 사용 가능여부 확인 torch.cuda.is_available()현재 사용중인 device 번호 확인 device slot 순서와 상관없이 기본적으로 0번부터 할당 (즉 장치가 1개라면 0으로 출력) torch.cuda.current_device()현재 사용중인 device 개수 확인 torch.cuda.device_co..
Huggingface Model/Tokenizer 설치 pip install transformers사용 예시 Tokenizer 선언 (불러오기) from transformers import AutoTokenizer model = "klue/bert-base" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)Encoding (Tokenize-토큰화) & Decoding (디코딩) ### [pre-condition] Tokenizer 선언 이후 ### Encoding my_data = "text of target data" tokenized_input = tokenizer(my_data, padding='max_length', trunc..