Seguimiento y documentación de avances en el desarrollo de sistemas de recuperación y generación aumentada para el Diario Oficial de la Federación.
Probamos Gemini 2.5 Flash Lite con el prompt v3 en 100 imágenes aleatorias del Diario Oficial de la Federación. Cero errores, 2.3s promedio por imagen, y un estimado de $41 USD para procesar las ~97,000 imágenes del corpus completo.
Segunda iteración del experimento: cambiamos el prompt, ajustamos las imágenes de prueba y reemplazamos Qwen por Grok y Gemma. Comparamos 6 modelos en 14 imágenes del Diario Oficial de la Federación.
Comparamos 6 modelos de visión (Gemini, GPT, Qwen, Claude) en la tarea de generar descripciones de imágenes para indexación RAG del Diario Oficial de la Federación.
De 657,867 archivos .doc del Diario Oficial de la Federación a Markdown limpio: herramientas, resultados y lo que falta por hacer.
Del archivo WORD descargado al Markdown estructurado listo para embeddings: un recorrido por nuestro pipeline de procesamiento completo que incluye conversión con LibreOffice, filtros LUA personalizados, análisis de imágenes con Gemini y arquitectura de directorios robusta.
Cómo la realidad del procesamiento masivo de documentos nos llevó a replantear nuestra estrategia: de descargar PDFs completos a obtener archivos WORD segmentados, reduciendo dramáticamente el costo computacional sin sacrificar calidad.
Análisis detallado de las proyecciones de almacenamiento para el proyecto DOF-RAG, evaluando diferentes dimensiones de embeddings y sus implicaciones de escalabilidad para un horizonte de 25 años.
Un análisis comparativo entre tres modelos de embeddings (Nomic Embed, Gemini, Jina) evaluando velocidad, calidad y estabilidad en búsqueda vectorial para documentos oficiales mexicanos.
Un análisis comparativo de las diferentes herramientas para convertir PDFs a markdown y por qué elegimos Marker para nuestro proyecto DOF-RAG.
Un análisis de los desafíos encontrados durante la integración de los modelos de IA de Google en el proyecto DOF RAG, el manejo de librerías en evolución y la resolución de problemas con las APIs.
Cómo resolvimos el problema de la falta de contexto en chunks de texto para mejorar la precisión de nuestro sistema RAG.
Un análisis comparativo de diferentes modelos de IA en la tarea de describir imágenes para el proyecto DOF-RAG.
Una iniciativa para mejorar la accesibilidad y comprensión de la información del Diario Oficial de la Federación.