#benchmark

5 publicacionescon esta etiqueta

3 de agosto de 2026

Guardar 31 GB de texto en 3 GB (y recuperar cada byte): la prueba de concepto de almacenamiento

Cuarta entrega del benchmark: construimos el corpus comprimido sobre 10,000 documentos reales. sqlite-zstd comprime 10.9x con acceso aleatorio, los chunks se guardan como recetas de 110 bytes en lugar de texto, el índice de búsqueda por palabras resultó 15x más chico de lo temido, y la cuantización TurboQuant empata en calidad con los vectores completos. Todo cabe en ~11 GB.

#dof-rag #almacenamiento #sqlite #zstd #fts5 #vector-search #benchmark

Joaquín Bravo ContrerasLeer más

2 de agosto de 2026

Búsqueda híbrida: cómo juntar BM25 y embeddings (y hacerlos caber en una laptop)

Tercera entrega del benchmark: fusionamos los rankings de BM25 y embeddings y el resultado supera a ambos por separado. También medimos cómo indexar el corpus completo desde la Mac M3: qué sirve (GGUF/Metal), qué no (batches grandes, fp16), y por qué la cuantización binaria de jina decide la arquitectura de almacenamiento.

#dof-rag #embeddings #benchmark #bm25 #hybrid-retrieval #gguf #apple-silicon

Joaquín Bravo ContrerasLeer más

1 de agosto de 2026

Benchmark de embeddings ronda 2: BM25, late chunking y queries LLM-generadas

Segunda ronda del benchmark: 499 documentos del corpus completo (1999-2026), 3,023 queries generadas con LLM en 6 tipos, baseline de BM25 con FTS5, y evaluación de late chunking para pplx-embed-context. BM25 y embeddings resultan complementarios por tipo de query.

#dof-rag #embeddings #benchmark #bm25 #rag #hybrid-retrieval

Joaquín Bravo ContrerasLeer más

30 de julio de 2026

Benchmark de embeddings: 10 modelos compiten por entender el DOF (y gana uno de 0.6B)

Comparamos 10 modelos de embedding en velocidad, memoria y calidad de recuperación sobre documentos reales del DOF. Probamos cuantización int8, binaria y truncado Matryoshka. Los leaderboards públicos no predijeron al ganador.

#dof-rag #embeddings #benchmark #rag #mteb #decision

Joaquín Bravo ContrerasLeer más

26 de julio de 2026

Custom vs Chonkie: por qué construimos nuestro propio chunker para el DOF

Evaluamos 8 estrategias de chunking (5 de Chonkie, 2 pipelines, 1 custom) sobre 1,000 documentos del DOF. Ninguna opción de librería estándar respetaba tanto la estructura del documento como el límite de tokens.

#dof-rag #chunking #chonkie #benchmark #decision

Joaquín Bravo ContrerasLeer más

Ver todas las etiquetas