Question

Hola comunidad, tengo mi sitio web con solamente 5 conexiones recurrentes a la Base de Datos, entonces comencé la Implementación de un Módulo que lo llamé Gandalf. me trabaja de la siguiente forma: para cada Seccion activa tengo una carpeta 'S'+#id_seccion y dentro de esta cada vez que inserto una noticia guardo en un fichero list_news.json un array codificado a json con valores sencillos para referencia rápida como son el id_news,titulo_news... y además de eso guardo la noticia nueva en un fichero llamado 'N'+#id_news entonces en esta mini db o cache como querais decirle, cuando voy a insertar una noticia borro completamente todo el contenido de la seccion activa para luego generrar todo el contenido lo cual es mala optimización por el tiempo si comparamos el otro metodo que sería generar el fichero de index y eliminar la noticia más vieja y insertar la nueva. O otra forma de optimizarlo. Saludos Dairon

Comments

¿Puedes poner código? Entiendo que la solución más óptima sería añadir contenido al fichero listnews.json en lugar de volver a construirlo de cero.

---

el código en sí es largo pero puedo poner el pseudo código es algo más rápido aunque en realidad lo que necesito es una idea de optimización. Saludos Dairon

---

Da igual código, pseudocódigo o un diagrama de flujo pero lo que me falta por entender es si es una caché de escritura, lectura o ambos y dónde tienes el problema de rendimiento. Si es una caché, ¿tienes después un proceso que vuelca los datos a la BBDD o es que en realidad has sustituido la base de datos por almacenamiento en ficheros?

---

Cadavez que inserto una nueva noticia hago una llamada a las ultimas 10 noticias en esas seccion y creo los ficheros antes mencionados. esta parte es de escritura.
Cuando accede un visitante entonces valido que la url-amiga que llegó si está en la lista de noticias en cache entonces no utilizo la base de datos sino que leo los datos de la noticia de mi cache de json y se la muestro al usuario, en caso de no estar en mi cache entonces hago la consulta a la base de datos para que me devuelva los datos de mi noticia.
Solo cacheo las noticias que se encuentran en el home de mi página y las 10 que serán listadas cuando algún visitante le de clic al menú de navegación para listar las noticias de una sección activa. esto me tiene que aliviar las conexiones a la base de datos en un gran porciento pues solo conectaría a la misma cuando algún usuario quiera ver una noticia de más de unos días lo cual es mucho más bajo dada la duración de las notocias en internet ;) Saludos

Answer 1

Permiteme que te haga una consulta, por curiosidad ¿Qué te ha hecho descartar el uso del caché de base de datos que implementa CodeIgniter? No lo he utilizado pero según su documentación también puede borrarse la caché filtrando por URI.

Aunque es interesante que te hayas construido tu propia caché seguramente al reinventar la rueda tu implementación tiene más probabilidades de ser menos eficiente (ojo, o no si te has centrado exclusivamente en tu necesidad en lugar de resolver una necesidad global).

Como aporte a tu desarrollo veo algo que me chirría un poco: ¿Puedes evitar el doble acceso a ficheros? Normalmente la escritura/lectura de ficheros en disco no es muy rápida. No veo imprescindible llevar un índice con las noticias cacheadas. Tu implementación:

1. Recibir la URI
2. Abrir fichero de URIs cacheadas, si existe el registro pasar a 3, si no pasar a 4
3. Leer fichero de caché individual y construir página
4. Leer BBDD y construir página

Puedes fusionar los pasos 2 y 3 en uno solo (con un solo acceso a disco) si el nombre del fichero de caché individual lo ligas a la URI. Suele hacerse con funciones de hash, como por ejemplo MD5 ya que aunque es un hash poco seguro se calcula muy rápido y en este caso no importa la seguridad. Quedaría:

1. Recibir la URI, calcular el hash (ej. 572d4e421e5e6b9bc11d815e8a027112)
2. Comprobar si existe el fichero 572d4e421e5e6b9bc11d815e8a027112.json en tu ruta de caché. Si existe, leer y construir página, si no, pasar al punto 3.
3. Leer BBDD y construir página (y caché opcionalmente)

Espero que te sea de utilidad.