Question

Buenas, mi problematica es que quiero generar un archivo excel desde un DataTable en C#; actualmente realizo una consulta en la base de datos que me devuelve al rededor de 4 millones de tuplas he logrado hacer que la respuesta de dicha consulta se reduzca a 2 minutos aproximadamente; ahora no quiero que toda esa optimización se vea afectada al momento de generar un archivo de Excel con la información consultada ¿Existe algún tipo de "Bulk" para escribir los datos en un archivo? ya que actualmente las opciones que he encontrado es recorrer el DataTable y realizar la escritura del archivo row por row y toda la optimización realizada se pierde.

Answer 1

¿Quieres generar un archivo de Excel con 4 millones de registros? A priori sin conocer más detalles no parece el mejor formato para soportar tanta información, ten en cuenta que Excel en sus últimas versiones admite algo más de 1 millón de filas por cada hoja.

Sobre rendimiento y tiempos de escritura en ficheros Excel te recomiendo este artículo que he encontrado: http://www.clear-lines.com/blog/post/Write-data-to-an-Excel-worksheet-with-C-fast.aspx

Lo suyo es que hagas pruebas de rendimiento escribiendo en forma de array cada tupla, pero según ese artículo te vas a mover en tiempos de entre 0,005 a 3 milisegundos por celda, lo que te deja un arco de entre 1 minuto y 7 horas xD

Lo malo es que por tu tipo de datos con pocas columnas (entiendo que 2 columnas si hablamos de tuplas) parece no vas a beneficiarte de la escritura en array.

Otra opción es que te plantees las necesidades y lo exportes a un fichero CSV, que posteriormente puede convertirse a Excel fácilmente.