Yosemite Fitness
Related Articles
Anthropic ha introducido una nueva característica en algunos de sus modelos Claude que permitirá a los desarrolladores reducir los costos de bolsillo y la latencia. El almacenamiento en caché instantáneo permite a los usuarios almacenar en caché el contexto utilizado con frecuencia para poder utilizarlo en futuras llamadas API. Según la empresa, al equipar el modelo con conocimientos básicos y ejemplos de resultados anteriores, se pueden reducir los costos hasta en un 90% y la latencia hasta en un 85% para solicitudes largas. Hay varios casos de uso en los que el almacenamiento en caché de mensajes sería útil, incluida la capacidad de mantener una versión resumida de una base de código para que la utilicen los asistentes de codificación, proporcionar documentos de larga duración en mensajes y proporcionar conjuntos de instrucciones detalladas con varios ejemplos del resultado deseado. Básicamente, los usuarios también pueden usarlo para conversar con contenido extenso, como libros, documentos, documentación y transcripciones de podcasts. Según las pruebas de Anthropic, chatear con un libro con 100.000 tokens en caché tarda 2,4 segundos, mientras que hacer lo mismo sin información en caché tarda 11,5 segundos. Esto equivale a una reducción del 79% en la latencia. Almacenar en caché un token de entrada cuesta un 25 % más que el precio base del token de entrada, pero en realidad usar el contenido almacenado en caché cuesta un 10 % menos. Los precios reales varían según el modelo específico. El almacenamiento en caché ahora está disponible como versión beta pública en Claude 3.5 Sonnet y Claude 3 Haiku, mientras que Claude 3 Opus será compatible pronto. También te puede interesar… Anthropic agrega capacidades de calificación rápida a la consola Anthropic actualiza a Claude con nuevas funciones para mejorar la colaboración
