일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- judge
- format
- pytorch
- pandas
- Python
- KAKAO
- git
- PostgreSQL
- numpy
- curl
- Windows
- Flask
- enV
- evaluation
- Database
- Linux
- LLM
- AI
- Paper
- Container
- DB
- docker
- file
- Mac
- CUDA
- Converting
- Laravel
- TORCH
- list
- GitLab
- Today
- Total
목록2023/10 (7)
Daily Develope
Huggingface Model/Tokenizer 설치 pip install transformers사용 예시 Tokenizer 선언 (불러오기) from transformers import AutoTokenizer model = "klue/bert-base" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)Encoding (Tokenize-토큰화) & Decoding (디코딩) ### [pre-condition] Tokenizer 선언 이후 ### Encoding my_data = "text of target data" tokenized_input = tokenizer(my_data, padding='max_length', trunc..
postgresql DB를 생성하고, adminer 웹 UI를 통해 쉽게 DB를 제어할 수 있는 컨테이너 환경 구성 환경 Docker : version 20.10.13 샘플코드 컨테이너 구성 파일 (db_docker_compose.yaml) 컨테이너 및 가상망 설정 Docker 가상 네트워크 생성 (네트워크명:db-network) adminer와 postgresql 컨테이너 생성 및 가상망과 연결 postgresql 설정 image : postgres alpine 3.18 이미지 port : 호스트 5432 포트와 컨테이너 5432 포트 연결 DB ID/PW : 환경변수 파일(.env)의 값을 불러와 설정 (POSTGRES_USER / POSTGRES_PWD) volume : 환경변수 파일(.env)에 ..
환경Python 3.9.7- modules : psycopg2Postgresql (Container, version:alpine3.18)- host : 127.0.0.1- port : 5432- database : mydb- 컨테이너 배포 샘플코드Connection Classimport psycopg2import loggingclass DBBaseController: def __init__(self, host:str="127.0.0.1", port:int=5432) -> None: self.__connect(host=host, port=port) def __connect(self, host:str="127.0.0.1", port:int=5432): try: ..