일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- LLM
- list
- pandas
- git
- numpy
- AI
- enV
- Laravel
- curl
- Database
- GitLab
- KAKAO
- Paper
- Converting
- Mac
- format
- Container
- docker
- DB
- Windows
- PostgreSQL
- evaluation
- Flask
- CUDA
- file
- Python
- TORCH
- Linux
- pytorch
- judge
- Today
- Total
목록분류 전체보기 (99)
Daily Develope
Pickle이란? Python의 객체(Object)를 binary 파일로 serializing 하거나 반대로 binray 파일로부터 de-serializing 하기 위한 프로토콜이 구현된 라이브러리. 흔히 pickling, flattening, marshalling 등으로 일컫는다. 장점? Python 객체를 바로 파일로 쓰거나 읽을 수 있다. Binary(또는 Bytes) 형태로 데이터를 다루기 때문에 읽기/쓰기 속도가 빠르다. 읽기/쓰기 예시코드 import pickle import os my_filepath = "target/file/path/filename.bin" my_data = ['target', 'data'] if os.path.isfile(my_filepath): ### 읽기 with o..
Huggingface Model/Tokenizer 설치 pip install transformers사용 예시 Tokenizer 선언 (불러오기) from transformers import AutoTokenizer model = "klue/bert-base" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)Encoding (Tokenize-토큰화) & Decoding (디코딩) ### [pre-condition] Tokenizer 선언 이후 ### Encoding my_data = "text of target data" tokenized_input = tokenizer(my_data, padding='max_length', trunc..
postgresql DB를 생성하고, adminer 웹 UI를 통해 쉽게 DB를 제어할 수 있는 컨테이너 환경 구성 환경 Docker : version 20.10.13 샘플코드 컨테이너 구성 파일 (db_docker_compose.yaml) 컨테이너 및 가상망 설정 Docker 가상 네트워크 생성 (네트워크명:db-network) adminer와 postgresql 컨테이너 생성 및 가상망과 연결 postgresql 설정 image : postgres alpine 3.18 이미지 port : 호스트 5432 포트와 컨테이너 5432 포트 연결 DB ID/PW : 환경변수 파일(.env)의 값을 불러와 설정 (POSTGRES_USER / POSTGRES_PWD) volume : 환경변수 파일(.env)에 ..
환경Python 3.9.7- modules : psycopg2Postgresql (Container, version:alpine3.18)- host : 127.0.0.1- port : 5432- database : mydb- 컨테이너 배포 샘플코드Connection Classimport psycopg2import loggingclass DBBaseController: def __init__(self, host:str="127.0.0.1", port:int=5432) -> None: self.__connect(host=host, port=port) def __connect(self, host:str="127.0.0.1", port:int=5432): try: ..