외부 검색 크롤링을 통해 구현

import requests
from bs4 import BeautifulSoup

data_cvs = r'your/cvs file/location'
# 웹 페이지에서 실시간 데이터 크롤링
def crawl_website(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')

    # 예: 웹 페이지에서 모든 텍스트 추출
    texts = soup.get_text()
    return texts

# 예시 URL
url = data_cvs
crawled_data = crawl_website(url)
print(crawled_data[:500])  # 크롤링한 데이터 일부 확인

import faiss
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
model_name = "./Falcon_korean_finetuned"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)


# 문서 임베딩 함수
def get_embeddings(texts):
    inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)
    with torch.no_grad():
        embeddings = model(**inputs, output_hidden_states=True).hidden_states[-1][:, 0, :]
    return embeddings.numpy()

# FAISS 인덱스 생성
index = faiss.IndexFlatL2(768)  # Llama 모델의 임베딩 차원
doc_embeddings = get_embeddings([crawled_data])  # 크롤링한 텍스트 임베딩
index.add(doc_embeddings)  # FAISS에 데이터 추가

# 검색 함수: 쿼리에 대해 FAISS에서 유사한 문서 검색
def search(query, top_k=3):
    query_embedding = get_embeddings([query])
    distances, indices = index.search(query_embedding, top_k)
    # 유사한 문서들을 반환
    results = [crawled_data[idx] for idx in indices[0]]
    return results

# 검색된 문서 바탕으로 답변 생성
def generate_answer(query):
    # 검색 결과 가져오기
    retrieved_docs = search(query)
    context = " ".join(retrieved_docs)
    
    # 모델 입력 생성
    prompt = f"질문: {query}\n컨텍스트: {context}\n답변:"
    inputs = tokenizer(prompt, return_tensors="pt")
    
    # 답변 생성
    output = model.generate(**inputs, max_new_tokens=50)
    answer = tokenizer.decode(output[0], skip_special_tokens=True)
    
    return answer

def chat():
    print("AI와 대화를 시작합니다. '종료'라고 입력하면 대화가 종료됩니다.")
    while True:
        query = input("질문을 입력하세요: ")
        if query.lower() == "종료":
            print("대화를 종료합니다.")
            break
        
        # 답변 생성
        answer = generate_answer(query)
        print("AI의 답변:", answer)

# 대화 시작
chat()