AI

1.DataSet 로드datasets 라이브러리를 이용해 GLUE 데이터셋 중 하나인 MRPC를 로드한다.학습(train), 검증(validation), 테스트(test) 데이터가 포함된다.(문장 유사성 판단 작업에 사용가능)### 데이터셋 로드raw_datasets = load_dataset("glue", "mrpc")    2.토크나이저와 모델 로드토크나이저: bert-base-uncased 체크포인트를 사용하여 문장을 토큰으로 변환한다.모델: 사전 학습된 bert-base-uncased을 로드하고, 이진 분류를 위한 TFAutoModelForSequenceClassification으로 초기화한다.옵티마이저: Adam 옵티마이저를 사용하여 학습 속도를 조절한다. ### 토크나이저와 모델 로드check..

1.AutoTokenizertransformers 라이브러리에서 제공하는 고수준 API로, 사용자가 쉽게 특정 모델에 맞는 토크나이저를 로드할 수 있도록 도와준다.AutoTokenizer는 다양한 모델에 대해 자동으로 해당 모델에 맞는 토크나이저를 선택하고 불러오기 때문에, 모델 이름만으로 적절한 토크나이저를 손쉽게 사용할 수 있다.from transformers import AutoTokenizer# 모델의 체크포인트를 지정# 'bert-base-uncased'는 BERT 모델의 체크포인트checkpoint = "bert-base-uncased"# AutoTokenizer를 사용하여 체크포인트에 맞는 토크나이저를 호출# AutoTokenizer는 자동으로 해당 모델에 맞는 토크나이저를 로드# BertT..

1.편향(Bias)데이터나 모델이 특정 집단에 대해 불공정하거나 왜곡된 결정을 내리는 경향을 의미한다.  1-1.데이터 편향(Data Bias)데이터 자체가 특정 집단이나 속성에 대해 불균형할때 모델이 특정 집단을 과대평가하거나 과소평가하게 만든다.(얼굴 인식 시스템에서 백인 얼굴이 주로 학습되면, 아시아인이나 흑인 얼굴 인식에 실패할 수 있음)   1-2.표본 편향(Sampling Bias)훈련 데이터가 실제 세계의 다양한 특성을 충분히 반영하지 못하는 경우 발생한다.(특정 지역이나 특정 연령대의 사람들만 포함된 데이터셋을 사용할 경우, 다른 지역이나 연령대에서의 성능이 떨어질 수 있음)    1-3.알고리즘 편향(Algorithmic Bias)모델의 설계나 학습 과정에서 특정 그룹을 의도치 않게 차별..

1.인코더 모델 (Encoder Models)입력 데이터를 이해하고, 이를 고차원의 벡터(잠재 공간)로 변환한다.정보 압축과 특징 추출을 잘하고 주로 분류나 특징 생성 같은 작업에서 사용한다.BERT: 문장의 문맥적 표현을 학습하여 자연어 이해 작업(감정 분석, 질문 응답 등)에 사용.컴퓨터 비전: CNN 기반 인코더로 이미지를 저차원 벡터로 변환.    2.디코더 모델 (Decoder Model)주어진 벡터 표현(잠재 공간)에서 출력 데이터를 생성한다.데이터 복원과 생성 능력이 좋아서 다양한 생성 작업(텍스트, 이미지 등)에서 유용하다.GPT 계열 모델: 주어진 텍스트를 기반으로 새로운 문장을 생성.이미지 복원: 낮은 품질의 이미지나 영상 데이터를 고해상도로 복원.    3.인코더-디코더 모델 (Enc..

1.아키텍처(architectures)신경망의 구조를 정의하는 설계도입력과 출력의 형태, 네트워크의 계층 구성, 각 계층의 수와 종류 등을 포함한 모델의 구성요소들(모델이 데이터를 처리하고 학습하며 예측을 수행하는 방식이 이 설계에 따라 결정된다.) 1-1.CNN (Convolutional Neural Network)이미지 데이터 처리    1-2.RNN (Recurrent Neural Network)순차적 데이터처리   1-3.Transformer자연어 처리(NLP)   2.체크포인트(checkpoints)모델 학습 과정에서 저장된 모델의 상태를 의미한다.특정 에포크(epoch)나 검증(validation) 성능이 최고일 때 모델 저장한다.(가중치, 바이어스, 옵티마이저(optimizer) 상태등을 포..

1.transformers자연어 처리(NLP)와 관련된 작업을 쉽게 수행할 수 있도록 제공되는 Hugging Face의 강력한 Python 라이브러리다양한 사전 학습된 모델(pretrained model)을 제공하며, 모델을 쉽고 효율적으로 활용할 수 있는 기능을 지원한다.쉬운 API를 통해 모델을 로드하고 사용할수있다.    2.PipelinePipeline은 Hugging Face transformers 라이브러리에서 제공하는 고수준API로, 사전 학습된 모델과 토크나이저를 조합하여 특정 자연어 처리(NLP) 작업을 빠르게 수행할 수 있도록 도와주는 기능이다.복잡한 설정 없이도 단 몇 줄의 코드로 NLP 태스크를 실행할 수 있다.    2-1.텍스트 생성 (text-generation)주어진 텍스트를..

1.파인튜닝(Fine-tuning)사전 훈련(Pre-training)된 모델을 특정 작업에 맞게 조정,이미 학습된 모델을 특정한 작업에 맞게 추가로 학습시키는 과정을 말한다.일반적인 지식을 특정 도메인, 데이터셋, 또는 과업에 맞게 세부적으로 조정하는 데 사용된다.모델이 가지고 있는 일반적인 지식을 특정 도메인, 데이터셋, 또는 과업에 맞게 세부적으로 조정하는 데 사용된다. 이를 통해 모델의 성능을 높이고, 특정 목적에 최적화된 결과를 얻을 수 있다.   2.파인튜닝(Fine-tuning) 특징2-1.사전 학습된 모델 활용대규모 데이터셋으로 학습된 일반적인 모델을 기반으로 작업을 수행하여 초기 학습 단계의 시간과 자원을 절약할수있다.  2-2.도메인 특화 학습특정 도메인의 데이터(의료, 법률, 금융 등)..

1.허깅 페이스(Huggingface)자연어 처리(NLP)와 관련된 모델과 데이터셋을 제공하는 플랫폼특히 Transformers 라이브러리로 잘 알려져 있다.여러 모델들과 Dataset들을 쉽게 구할수있다.  https://huggingface.co/ Hugging Face – The AI community building the future. huggingface.co