Daily Develope

의미 Type checking을 위해 데이터의 유형을 명시적으로 나타내기 위해 사용하는 Class (또는 Type) 자주 사용되는 Type Any : 모든 Type과 호환되는 Type Union : Union 리스트에 선언된 Type 중 하나에 해당함을 의미 def foo(arg: Union[int, float] = None) -> None: # arg는 int 또는 float 유형 # ... Optional : Optional 리스트에 선언된 Type이거나 None인 경우를 의미 def foo(arg: Optional[int] = None) -> None: # ... 가끔 사용되는 Type NoReturn : function의 반환값이 없음을 명시적으로 표현 from typing import NoRet..

Pickle이란? Python의 객체(Object)를 binary 파일로 serializing 하거나 반대로 binray 파일로부터 de-serializing 하기 위한 프로토콜이 구현된 라이브러리. 흔히 pickling, flattening, marshalling 등으로 일컫는다. 장점? Python 객체를 바로 파일로 쓰거나 읽을 수 있다. Binary(또는 Bytes) 형태로 데이터를 다루기 때문에 읽기/쓰기 속도가 빠르다. 읽기/쓰기 예시코드 import pickle import os my_filepath = "target/file/path/filename.bin" my_data = ['target', 'data'] if os.path.isfile(my_filepath): ### 읽기 with o..

Huggingface Model/Tokenizer 설치 pip install transformers사용 예시 Tokenizer 선언 (불러오기) from transformers import AutoTokenizer model = "klue/bert-base" tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)Encoding (Tokenize-토큰화) & Decoding (디코딩) ### [pre-condition] Tokenizer 선언 이후 ### Encoding my_data = "text of target data" tokenized_input = tokenizer(my_data, padding='max_length', trunc..