Topic. 임베딩에 대해 알아봅니다.* 임베딩이란?임베딩(Embedding)은 텍스트 데이터를 수치 벡터로 변환하는 과정입니다. BERT 모델에서는 토큰 임베딩, 세그먼트 임베딩, 위치 임베딩의 세 가지 임베딩이 결합되어 최종 입력 임베딩을 만듭니다. BERT의 임베딩 과정을 단계별로 설명하겠습니다.1. 토큰 임베딩(Token Embedding)토큰 임베딩은 각 단어(또는 토큰)를 고정된 길이의 벡터로 변환하는 과정입니다. BERT는 WordPiece 토크나이저를 사용하여 단어를 더 작은 조각으로 나누기도 합니다.예를 들어, 문장 "I love you"는 "[CLS] I love you [SEP]"로 변환됩니다.각 토큰은 미리 학습된 임베딩 벡터로 변환됩니다. 임베딩 벡터에 대한 설명은 맨 아래쪽에서 ..

$ sudo apt install python3.10 $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin $ sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 $ sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub $ sudo add-apt-repository "deb https://developer.download.nvidia.com/..

Docker Run Docker Commands # docker images // lists images locally # docker run // creates a new container # docker ps // lists running container # docker ps -a // lists all the containers # docker exec // executes commands on containers # docker start/stop/restart/rm # docker rmi // remove docker images # docker inspect // detail of container & image 참고 : https://docs.docker.com/engine/referenc..

Docker는 host OS’s kernel을 이용하므로 Windows Containers can run on Windows OS Also Linux Containers can run on Linux OS EC2 instance : Ubuntu 18, t2.micro 설치에 관한 공식 문서 : https://docs.docker.com/ docker 설치 $ sudo apt install docker.io docker 설치 후 docker service가 실행되고 있는지 본다. $ systemctl status docker $ docker images 라고 하면 permission denied라고 나온다. Only the root user can connect to the docker daemon by ..

Isolation 여러 애플리케이션의 논리적인 격리(isolation)를 위해서 여러 VM을 생성하면 비용(CapEx, OpEx)의 증가로 이어짐 Isolation without OS 같은 OS위에서 여러 애플리케이션의 isolation을 제공하는 것이 container Containers 컨테이너는 하나의 디렉토리에서 수행하는 프로세스와 같다. 모든 라이브러리, 바이너리, 설정 파일이 한 군데 있다. VM은 마치 물리적인 독립처럼 보이게 하는 논리적인 독립인 것처럼, Containers share the machine’s OS system’s kernel and therefore do not require an OS per application. A container is a standard unit ..

topic. Google GPU를 사용하기 위해 Colab사용방법을 알아봅니다. 1. 톱니바퀴 클릭 2. 다음과 같이 설정 3. 명령어 순서대로 입력 사양 확인 !nvidia-smi 현재 디렉토리 확인 import os print(os.getcwd()) !ls 구글 드라이브 마운트 from google.colab import drive drive.mount('./MyDrive') 마운트된 드라이브로 이동 cd MyDrive/MyDrive cd Colab\ Notebooks requirments.txt 파일 작성 ----requirments.txt datasets loralib sentencepiece git+https://github.com/huggingface/transformers.git accele..