Question

Hola a todos, estoy teniendo un problema al migrar un sistema viejo a una plataforma web, el sistema anterior tenía bases en DBF (aparentemente estaba escrito en FOX que es un lenguaje que usas DBF como bases muy a menudo).

Estoy subiendo las bases a MySQL. Lo primero que intente hacer es subir los DBF (son muchisimos) directamente al mySQL pero desde el Migration Toolkit, ni del Migration Wizard (Workbench) no eran compatibles, sino que habìa que pasar antes los archivos de DBF a CSV por ejemplo. También hay muchos programas pagos que hacen exportación a otros formatos, pero no encontré ninguno que lo haga gratis.

Entonces decidí hacer yo mismo la exportación, para eso habilite la extensión de dbase en PHP y usé estas funciones http://php.net/manual/es/book.dbase.php . Pude abrir bien las bases y escribirlas en el server MySQL en sus respectivas tablas.
Pero tengo problemas con los caracteres especiales ÁÉÍÓÚ y Ñ etc... aparentemente los DBF están guardados en formato ascii extendido, la tabla ASCII que todos conocemos, allí por ejemplo el caracter Á es el numero 181 (sería lo mismo que pararse en cualquier editor de texto y escribir Alt+181).
http://es.wikipedia.org/wiki/ASCII_extendido

Sin embargo, la mayoría de los archivos de los editores guardan los datos en ANSI (latin 1 o ISO-8859-1) , donde el caracter "Á" es el 193
http://es.wikipedia.org/wiki/ISO_8859-1http://es.wikipedia.org/wiki/ISO_8859-1

Y no puedo leer correctamente el archivo original.
Estoy usando las

$cadena=mb_convert_encoding($cadena,"ISO-8859-1","ASCII");

o

$cadena=iconv("ASCII","ISO-8859-1",$cadena);

y variando para visualizarlo bien en pantalla con las funciones

ini_set( 'default_charset', 'ASCII' );
header('content-type:text/html; charset=ASCII');
iconv_set_encoding("internal_encoding", "ASCII");
iconv_set_encoding("output_encoding", "ASCII");

Pero no me dan el resultado esperado, no lo puedo ver bien en pantalla y mucho menos guardarlo correctamente en la base de datos.

Si alguien me puede ayudar se los agradecería (acá les paso un ejemplo de DBF. Si abren el DBF con excel (al menos con mi excel 2010) se puede observar bien los acentos)
https://dl.dropboxusercontent.com/u/75309684/test.dbf

Gracias

Comments

¿Has probado a ir poco a poco con la función mb_detect_enconding() [doc] para tratar de encontrar dónde empiezan los problemas?

Answer 1

Buenas,

encontré lo que te pasa: el DBF está usando el juego de caracteres IBM-850

Escribí este script para la consola (no puedo agregar módulos de PHP al servidor del trabajo) que muestra la cadena original y la versión convertida correctamente:

<?php
$dbase_name="./test.dbf";
$db=dbase_open($dbase_name, 0);
$regs=dbase_numrecords($db);
$nc=dbase_numfields($db);
$h = dbase_get_header_info($db);
print_r($h);
for ($i = 1; $i <= $regs; $i++) {
    $reg = dbase_get_record($db, $i);
    for ($j = 0; $j < $nc; $j++) {
        $cadena = $reg[$j];
        $tmp = mb_detect_encoding($cadena);
        print("$tmp | $cadena\n");
        $s = mb_convert_encoding($cadena,"UTF-8","IBM-850");
            print("convertido: $s\n");
    }
}

Mi consola en Debian GNU/Linux muestra en UTF-8 y los textos convertidos se ven perfectos.

Para hacer una versión web, fijate de emitir en el HTML la codificación que vayas a usar.

Saludos!

Answer 2

Hola ibarragp,

el problema creo que no está tanto en que los archivos estén en ASCII, que en querer enviar a un navegador este juego de caracetres.

Para ahorrarte problemas, tu DB (conexiones, tablas y campos) y tu HTML deben estar todas en el mismo juego de caracteres. Lo más normal hoy es elegir UTF-8, pero para este problema da lo mismo que pongas todo en ISO-8859-1.

Suponiendo que usás UTF-8 en todas partes, un ejemplo de la conversión sería:

<?php
...
$cadena = 'La cadena leída del CSV';
// Si detecta ASCII
if( mb_detect_encoding($cadena, "ASCII") ) {
   // Convierte a UTF-8
  $cadena = mb_convert_encoding ( $cadena , "ASCII", "UTF-8");
}
...

Podés ver acá http://ar2.php.net/manual/en/function.mb-detect-encoding.php y acá http://ar2.php.net/manual/en/function.mb-convert-encoding.php detalles sobre cómo se usan las funciones, la prioridad del juego de caracteres y la detección estricta.

Con los string convertidos, hacés los INSERT en la tabla. Luego si el HTML está codificado como UTF-8, bastará leerlo y mostrarlo para que se vea todo correctamente.

Saludos cordiales!

Answer 3

Probé usar la funcion inconv en Windows y parece que funciona bien, (usando la mb_convert_encoding daba warnings de "Illegal character encoding specified "... asi quedó el código final...

<?php
$encode="ISO-8859-1";
//$encode="UTF-8";
header('content-type:text/html; charset="'.$encode.'"');

$db_name = 'test.dbf';

$db = dbase_open($db_name, 0) or die("¡Error! No se pudo abrir el archivo de base de datos dbase '$ruta_db'.");
$info_columna = dbase_get_header_info($db);
$ncol = dbase_numfields($db);
$nreg = dbase_numrecords($db);

for ($i=1;$i<=$nreg;$i++) {
    $reg = dbase_get_record ($db , $i );
    for ($j=0;$j<$ncol;$j++){
        $cadena = $reg[$j];
        $tmp = mb_detect_encoding($cadena);
        print("$tmp | $cadena\n");
//LINUX
//      $s1=$cadena;
//      $s1=mb_convert_encoding($cadena,$encode,"ASCII");
//      $s1=mb_convert_encoding($cadena,$encode,"IBM-850");
//      $s1=mb_convert_encoding($cadena,$encode,"CP850");
//      print("Convertido: $s1\n");
//LINUX-WINDOWS
//      $s2=$cadena;
        $s2=iconv("CP850",$encode,$cadena);
        print("Convertido: $s2\n");
    }
}

dbase_close($db);

Gracias a todos