How to use ai-forever/FRED-T5-1.7B with Transformers:
# Load model directly from transformers import AutoTokenizer, AutoModelForSeq2SeqLM tokenizer = AutoTokenizer.from_pretrained("ai-forever/FRED-T5-1.7B") model = AutoModelForSeq2SeqLM.from_pretrained("ai-forever/FRED-T5-1.7B")
Выглядит многообещающе, ждем чепоинт :)Кстати, вы не хотели GPT-J на русский обучить, у вас же кристофари есть?)
Привет всем, кто тоже ждун!
лучше уж NeoX того же размера, чем использовать базу, предназначенную для TPU
· Sign up or log in to comment
