🤝 Petals permite ejecutar modelos de lenguaje demasiado grandes para una sola computadora usando una red distribuida, con un enfoque parecido a BitTorrent.
Cada participante carga una parte del modelo en su GPU y se conecta con otras personas que sirven las partes restantes. Así es posible utilizar Llama 3.1, Mixtral, Falcon o BLOOM desde una GPU de consumo o Google Colab.
La red ofrece inferencia interactiva para chatbots y aplicaciones, pero no se limita a una API tradicional. También permite ajustar modelos, cambiar métodos de muestreo, ejecutar recorridos personalizados y observar estados internos usando PyTorch y Transformers.
🌐 El sistema democratiza el acceso a modelos enormes, aunque depende de que existan suficientes participantes y de la calidad de la conexión entre nodos. Contribuir una GPU aumenta la capacidad disponible para toda la comunidad.
💡 Explicación en pocas palabras#
Imagina dividir un libro enorme entre muchas bibliotecas. Cada biblioteca guarda unas páginas y, cuando alguien quiere leerlo, todas colaboran para entregar la respuesta. Petals hace algo parecido con un modelo de IA: reparte sus capas entre computadoras y coordina el cálculo.
Más información en el link 👇
