| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- DB
- LLM
- CUDA
- Database
- TORCH
- enV
- format
- file
- PostgreSQL
- pandas
- Windows
- pytorch
- list
- numpy
- GitLab
- KAKAO
- judge
- AI
- Converting
- docker
- git
- Laravel
- Linux
- evaluation
- Package
- Container
- Python
- Mac
- Paper
- Flask
- Today
- Total
목록TORCH (2)
Daily Develope
m반쩨 GPU device 사용 improt os # 1번째 device만 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "1" # 2, 3번째 device 사용 os.environ["CUDA_VISIBLE_DEVICES"]= "2,3" # 혹은 terminal에서 export 환경변수로 선언해 사용 # export CUDA_VISIBLE_DEVICES=1 GPU 사용 가능여부 확인 torch.cuda.is_available()현재 사용중인 device 번호 확인 device slot 순서와 상관없이 기본적으로 0번부터 할당 (즉 장치가 1개라면 0으로 출력) torch.cuda.current_device()현재 사용중인 device 개수 확인 torch.cuda.device_co..
Huggingface Model/Tokenizer 설치 pip install transformers사용 예시 Tokenizer 선언 (불러오기) from transformers import AutoTokenizer model = "klue/bert-base" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)Encoding (Tokenize-토큰화) & Decoding (디코딩) ### [pre-condition] Tokenizer 선언 이후 ### Encoding my_data = "text of target data" tokenized_input = tokenizer(my_data, padding='max_length', trunc..