Topic. 임베딩에 대해 알아봅니다.* 임베딩이란?임베딩(Embedding)은 텍스트 데이터를 수치 벡터로 변환하는 과정입니다. BERT 모델에서는 토큰 임베딩, 세그먼트 임베딩, 위치 임베딩의 세 가지 임베딩이 결합되어 최종 입력 임베딩을 만듭니다. BERT의 임베딩 과정을 단계별로 설명하겠습니다.1. 토큰 임베딩(Token Embedding)토큰 임베딩은 각 단어(또는 토큰)를 고정된 길이의 벡터로 변환하는 과정입니다. BERT는 WordPiece 토크나이저를 사용하여 단어를 더 작은 조각으로 나누기도 합니다.예를 들어, 문장 "I love you"는 "[CLS] I love you [SEP]"로 변환됩니다.각 토큰은 미리 학습된 임베딩 벡터로 변환됩니다. 임베딩 벡터에 대한 설명은 맨 아래쪽에서 ..

$ sudo apt install python3.10 $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin $ sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 $ sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub $ sudo add-apt-repository "deb https://developer.download.nvidia.com/..

topic. Google GPU를 사용하기 위해 Colab사용방법을 알아봅니다. 1. 톱니바퀴 클릭 2. 다음과 같이 설정 3. 명령어 순서대로 입력 사양 확인 !nvidia-smi 현재 디렉토리 확인 import os print(os.getcwd()) !ls 구글 드라이브 마운트 from google.colab import drive drive.mount('./MyDrive') 마운트된 드라이브로 이동 cd MyDrive/MyDrive cd Colab\ Notebooks requirments.txt 파일 작성 ----requirments.txt datasets loralib sentencepiece git+https://github.com/huggingface/transformers.git accele..

Topic. Huggingface 에 등록된 LLM 을 Base 모델로 하여 미세조정(Fine-tuning) 하기 위한 환경설정 내용을 공유합니다. * 파이썬 설치는 아래 링크에서 https://x2bee.tistory.com/9 Python 설치 및 가상 환경(conda evn) Tech김백엔드, Tech막내녀석 공동작성 및 수정본 1. Python 설치 Python을 설치하는 방법은 3가지가 있다. Python 공식 홈페이지에서 설치 Anaconda 설치 Miniconda 설치 1번 공식 홈피 vs. 2번 Anaconda 1번 공식 홈 x2bee.tistory.com 1. Hardware Information OS : Linux Ubuntu 18.04.6 LTS (Windows11 WSL) CPU :..

Topic. 코사인 유사도에 대해 알아봅니다. 1. 정의 코사인 유사도(― 類似度, 영어: cosine similarity)는 내적공간의 두 벡터간 각도의 코사인값을 이용하여 측정된 벡터간의 유사한 정도를 의미한다. 2. 유클리드 거리 유클리드 거리(Euclidean distance)는 두 점 사이의 거리를 계산할 때 흔히 쓰는 방법이다. 이 거리를 사용하여 유클리드 공간을 정의할 수 있으며, 이 거리에 대응하는 노름을 유클리드 노름(Euclidean norm)이라고 부른다. 딥러닝은 지정된 답안지 안에서 때려 맞추는 것부터 시작한다. 코사인 유사도와 유클리드 거리를 이용하여 정답에 근접할 때까지 계속 시도한다. from numpy import dot from numpy.linalg import norm..