Я бы хотел собрать компьютер на базе Tesla T4 или RTX 3090 Gaming Pro стоимостью 60000 рублей и 99000 рублей соответственно, запустить на нем своего бота на Rag-сети, которая общается с Mistral 7B. Ресурсов на Mac mini 16 Гб RAM для этого мне не хватило, нет такого мощного пк, на котором это все можно запустить, чтобы быстро и оперативно тестировать и дообучать.
Однако если все пойдет хорошо, на этом компьютере затем можно держать уже готовую обученную LLM, например:
https://huggingface.co/meta-llama/Meta-Llama-3-70B
Автор: kra
Technofeya
сообщество разработчиков
Помогаем предпринимателям, мейкерам и исследователям превращать идеи в рабочие прототипы: от поиска команды и ресурсов до экспертизы и первых клиентов.
Время ответа: 1‑2 часа в рабочие дни, 4‑6 часов в выходные. Команда ответственных мейкеров на связи 24/7.
Навигация