Eliminar acentos

lourdes · May 3, 2007, 4:58pm

Hola, buenas tardes.

Sabe alguien si hay alguna funcion para eliminar acentos?, tengo un
fichero que importo a mi aplicaciÃ³n y me dÃ¡ errores cuando hay acentos.

Saludos y gracias

lourdes · May 3, 2007, 5:05pm

Sabe alguien si hay alguna funcion para eliminar
acentos?, tengo un fichero que importo a mi
aplicación y me dá errores cuando hay acentos.

###########
############### ----- ##
################## ### \ ####
################## #### # \ # ##
#################### ~~\ \ ,##",
################# /~~\ ## \ " :
############### \ \ ##" / :
####### ### \ / :
############# ###/ :
######## :
###### __ :
#### /\ /
############ ### _______/|
################## \ __ / /
####################__ \ —,/ /
################### \ _____/ /
################# _/
###############
###########

MICKEY MOUSE SAYS: UNICODE IS YOUR FRIEND

–
Saludos

lourdes · May 3, 2007, 5:09pm

              ',
          .-`-,\__
            ."`   `,
          .'_.  ._  `;.
      __ / `    _ `  `.\ _.--.
     /--,| 0)   0)     )`_.--,)
    |    ;.-----.__ _-');,   /
     '--./       | `.`\ / `"`
  ___..,/;       ;  |--/--._
 `_.---'| \     /  /`;'-._  '.
.'   .--'\ '---'  / /|`-. '.
   .'     ;-----;` / |
         /``-...' /.:;
        |        |'`` \
        |        / .::.|
       / \      /     `\
      /   '----'   .:::.\*

Cesar la verdad es que me has quitado las palabras de la boca.

lourdes · May 3, 2007, 5:19pm

El problema es de SQL, cuando intento grabar el registro que acabo de
leer de un fichero de texto que estÃ¡ en mi pc.

Si quito el acento me funciona bien.

Este es el error

DBI::DatabaseError: Execute
OLE error code:80040E14 in Microsoft OLE DB Provider for SQL Server
Comilla no cerrada antes de la cadena de caracteres ‘9104900, 1)’.
HRESULT error code:0x80020009
OcurriÃ³ una excepciÃ³n.: INSERT INTO materiales ([descripcion],
[referencia_interna], [sap], [planificador]) VALUES(‘Rep.Bomba 1"Aro
membrana PRV (fundiciÃ³n)’, NULL, ‘9104900’, 1)

Saludos

lourdes · May 3, 2007, 5:13pm

Lourdes wrote:

Sabe alguien si hay alguna funcion para eliminar acentos?, tengo un
fichero que importo a mi aplicaciÃ³n y me dÃ¡ errores cuando hay acentos.

CuÃ¡l es el mensaje de error ?. Puedes postear el fragmento de cÃ³digo ?

Saludos.

Jaime Mora R.

lourdes · May 3, 2007, 5:27pm

Ah…

El dÃa 3/05/07, Lourdes [email protected] escribiÃ³:

  Comilla no cerrada antes de la cadena de caracteres '9104900, 1)'.
HRESULT error code:0x80020009
  OcurriÃ³ una excepciÃ³n.: INSERT INTO materiales ([descripcion],
[referencia_interna], [sap], [planificador]) VALUES(‘Rep.Bomba 1"Aro
membrana PRV (fundiciÃ³n)’, NULL, ‘9104900’, 1)

Lo que te pasa no es la tilde en la o de fundiciÃ³n sino esas comillas
despuÃ©s de la bomba… se te cierra el SQL… Â¿CÃ³mo montas ese SQL?

Saludos

lourdes · May 3, 2007, 5:24pm

Hola Lourdes

El dÃa 3/05/07, Lourdes [email protected] escribiÃ³:

Sabe alguien si hay alguna funcion para eliminar acentos?, tengo un
fichero que importo a mi aplicaciÃ³n y me dÃ¡ errores cuando hay acentos.

No me suena de ninguna funciÃ³n para hacerlo directamente pero siempre te
puedes hacer tÃº una “a pata”, modificando la cadena con gsub. Un ejemplo
cutre y rÃ¡pido:

######################
def quita_acentos( cadena )

cadena = cadena.gsub(“Ã¡”, “a”)
cadena = cadena.gsub(“Ã©”, “e”)
cadena = cadena.gsub(“Ã”, “i”)
cadena = cadena.gsub(“Ã³”, “o”)
cadena = cadena.gsub(“Ãº”, “u”)

end

puts quita_acentos(“Yo, para ser feliz, quiero un camiÃ³n. Ã¡Ã©ÃÃ³Ãº ÃÃ‰ÃÃ“Ãš”)

#######################

Esto se puede hacer mejor con expresiones regulares, supongo. TambiÃ©n
hay
que tener en cuenta mayÃºsculas, eÃ±es, diÃ©resis…

Otra soluciÃ³n es emplear la gema HTMLEntities [1] que te permite
sustituir
todos los caracteres internacionales por su correspondiente codificaciÃ³n
HTML.

Suerte!

Jaime

[1] http://htmlentities.rubyforge.org/

lourdes · May 3, 2007, 5:43pm

membrana PRV (fundiciÃ³n)', NULL, ‘9104900’, 1)
mÃ me da que tu problema no es que haya una tilde, sino el juego de
caracteres que usas. Puede que con las eÃ±es tambiÃ©n te de errores, o
peor… que no te los de pero luego se guarden mal y te des cuenta
demasiado tarde. PodrÃa ser que tu aplicaciÃ³n trabaje en UTF-8 y la base
de datos estÃ© configurada para latin-1/iso-8859-1 (siendo un sqlserver
no serÃa nada raro). En ese caso lo que deberÃas hacer es convertir tus
strings al encoding adecuado antes y despuÃ©s de ir a la db.

Por otro lado, ten cuidado tambiÃ©n con los apÃ³strofes y llama a
sanitize_sql antes de intentar almacenar cadenas (o en su defecto usa un
gsub(“'”, “‘’”), es decir, un apÃ³strofe por dos) o tendrÃ¡s potenciales
problemas con nombres que contengan apÃ³strofes al estilo O’Reilly.

Saludos,

j

–

Estamos de estreno… si necesitas llevar el control de tus gastos
visita http://www.gastosgem.com !!Es gratis!!

lourdes · May 3, 2007, 5:45pm

On 5/3/07, Jaime I. [email protected] wrote:

cutre y rápido:
end

puts quita_acentos(“Yo, para ser feliz, quiero un camión. áéíóú ÁÉÍÓÚ”)

#######################

Igual de cutre pero más corto =:-P

def quita_acentos(cadena)
cadena.tr(‘áéíóúñÁÉÍÓÚÑ’, ‘aeiounAEIOUN’)
end

De todas maneras como han dicho por ahí arriba, más vale ir a por el
problema y no a por el síntoma.

–
Sergio Gil Pérez de la Manga
e-mail > [email protected]
blog > http://www.lacoctelera.com/porras

lourdes · May 3, 2007, 5:44pm

No porque si quito el acento, funciona.

Lo que tu me has dicho de gsub, ya lo habÃa probado, pero me dÃ¡ este
error:

D:/work/formulas_colores/app/controllers/formulas_controller.rb:152:
parse error, unexpected tIDENTIFIER, expecting ‘)’
cadena = cadena.gsub(“ï¿½”, “a”)
^
D:/work/formulas_colores/app/controllers/formulas_controller.rb:153:
parse error, unexpected tIDENTIFIER, expecting kEND
cadena = cadena.gsub(“ï¿½”, “e”)
^
D:/work/formulas_colores/app/controllers/formulas_controller.rb:153:
parse error, unexpected ‘)’, expecting kEND
D:/work/formulas_colores/app/controllers/formulas_controller.rb:154:
parse error, unexpected tIDENTIFIER, expecting ‘)’
cadena = cadena.gsub(“ï¿½”, “i”)
^
D:/work/formulas_colores/app/controllers/formulas_controller.rb:155:
parse error, unexpected tIDENTIFIER, expecting kEND
cadena = cadena.gsub(“ï¿½”, “o”)

lo que estoy haciendo es esto:

def material

Material.delete_all # borra la tabla

f=File.open("c:/materiales.txt","r")

f.each do |linea|
material = Material.new
c1,c2,plan,sap,descripcion,c6,c7,c8,c8,c8,c9,c10,c11,c12,c13,ref_int
= linea.chomp.split("\t")
material.planificador = plan
material.sap = sap.sub(/^0+/, ‘’)
material.descripcion = descripcion
material.referencia_interna = ref_int
material.save
end
end

Saludos

lourdes · May 3, 2007, 6:34pm

AdemÃ¡s en database.yml prueba con :

encoding: unicode

Desafortunadamente no puedo probarlo, ya que no tengo instalado el SQL
Server.

Saludos.

Jaime Mora R.

lourdes · May 3, 2007, 6:35pm

El dÃa 3/05/07, Sergio Gil PÃ©rez de la Manga [email protected]
escribiÃ³:

Igual de cutre pero mÃ¡s corto =:-P

def quita_acentos(cadena)
cadena.tr(‘Ã¡Ã©ÃÃ³ÃºÃ±ÃÃ‰ÃÃ“ÃšÃ‘’, ‘aeiounAEIOUN’)
end

Ese Ruby molÃ³n!

De todas maneras como han dicho por ahÃ arriba, mÃ¡s vale ir a por el

problema y no a por el sÃntoma.

Pues si. Lourdes, si el problema es la codificaciÃ³n de caracteres,
entonces
tendrÃ¡s que determinar cuÃ¡les son ambas (la del fichero y la de la base
de
datos). En Windows se suele emplear ISO-8859-1 o WINDOWS-1252; en
Gnu/Linux
y Mac, UTF-8…

Para convertir de uno a otro busca en los archivos de la lista por
“Iconv”.

lourdes · May 4, 2007, 8:25am

Vale, muchas gracias a todos.

Si reinstalase en otra ocasiÃ³n SQL server, que codificaciÃ³n de
caracteres deberÃa ponerle para no tener problemas?

Saludos

lourdes · May 3, 2007, 6:23pm

Lourdes wrote:

No porque si quito el acento, funciona.

Prueba con lo siguiente: agrega las siguientes lineas en
config/environment.rb :

$KCODE = ‘u’
require ‘jcode’

y ademÃ¡s en database.yml prueba con :

encoding: utf8

Nos cuentas que pasÃ³.

Saludos.

Jaime Mora R.

lourdes · August 21, 2007, 1:17pm

2007/5/3, Sergio Gil Pérez de la Manga [email protected]:

def quita_acentos(cadena)
cadena.tr(‘áéíóúñÁÉÍÓÚÑ’, ‘aeiounAEIOUN’)
end

¿Por qué no me funciona bien String.tr? Fijaos en estos intentos de
cambiar vocales:

“fernández”.tr(‘á’,‘a’)
=> “fernaandez”
“fernández”.tr(‘áé’,‘ae’)
=> “ferneendez”

¿Por qué me devuelve la vocal duplicada?

lourdes · August 21, 2007, 3:56pm

On 8/21/07, Jaime I. [email protected] wrote:

¿Por qué no me funciona bien String.tr? Fijaos en estos intentos de
cambiar vocales:

¿Probaste con Iconv?

require ‘iconv’

sin_acentos = Iconv.iconv(‘ascii//translit//ignore’, ‘utf-8’,
con_acentos).to_s

lourdes · August 21, 2007, 4:22pm

2007/8/21, Damian J. [email protected]:

On 8/21/07, Jaime I. [email protected] wrote:
sin_acentos = Iconv.iconv(‘ascii//translit//ignore’, ‘utf-8’, con_acentos).to_s

Funciona!

Aunque es un poco engorroso eso necesitar de iconv… pero bueno, me
soluciona el tema, que es lo importante.

lourdes · August 21, 2007, 4:32pm

On 8/21/07, Jaime I. [email protected] wrote:

2007/8/21, Damian J. [email protected]:

On 8/21/07, Jaime I. [email protected] wrote:
sin_acentos = Iconv.iconv(‘ascii//translit//ignore’, ‘utf-8’, con_acentos).to_s

Funciona!

Aunque es un poco engorroso eso necesitar de iconv… pero bueno, me
soluciona el tema, que es lo importante.

Puede que sea un overkill para lo que lo necesitas ahora, pero
tambiénte soluciona la traducción de acentos de cualquier idioma a su
caracter inglés más parecido

A nosotros nos salvó con idiomas como polaco, portugués, sueco…

lourdes · August 21, 2007, 4:44pm

On Aug 21, 2007, at 4:33 PM, Jaime I. wrote:

cadena = cadena.gsub(“Ã”, “i”)
cadena = cadena.gsub (“Ã³”, “o”)
cadena = cadena.gsub(“Ãº”, “u”)

end

La solucion con iconv es va muy bien, en particular IGNORE te da la
tranquilidad de que como mucho puede pasar que algo no se entienda,
pero que el resultado es ASCII seguro.

Tiene un gotcha que es que no todos los iconv tienen la misma tabla
de conversion, y a veces los caracteres acentuados desaparecen. Por
ello suelo tirar de esta secuencia que hice un dia andando con
paciencia por la tabla Unicode del Mac (asume que el fuente y str
estan un UTF-8 y que $KCODE esta OK):

def self.normalize(str)
return ‘’ if str.nil?
n = str.chars.downcase.strip.to_s
n.gsub!(/[Ã Ã¡Ã¢Ã£Ã¤Ã¥ÄÄƒ]/, ‘a’)
n.gsub!(/Ã¦/, ‘ae’)
n.gsub!(/[ÄÄ‘]/, ‘d’)
n.gsub!(/[Ã§Ä‡ÄÄ‰Ä‹]/, ‘c’)
n.gsub!(/[Ã¨Ã©ÃªÃ«Ä“Ä™Ä›Ä•Ä—]/, ‘e’)
n.gsub!(/Æ’/, ‘f’)
n.gsub!(/[ÄÄŸÄ¡Ä£]/, ‘g’)
n.gsub!(/[Ä¥Ä§]/, ‘h’)
n.gsub!(/[Ã¬Ã¬ÃÃ®Ã¯Ä«Ä©Ä]/, ‘i’)
n.gsub!(/[Ä¯Ä±Ä³Äµ]/, ‘j’)
n.gsub!(/[Ä·Ä¸]/, ‘k’)
n.gsub!(/[Å‚Ä¾ÄºÄ¼Å€]/, ‘l’)
n.gsub!(/[Ã±Å„ÅˆÅ†Å‰Å‹]/, ‘n’)
n.gsub!(/[Ã²Ã³Ã´ÃµÃ¶Ã¸ÅÅ‘ÅÅ]/, ‘o’)
n.gsub!(/Å“/, ‘oe’)
n.gsub!(/Ä…/, ‘q’)
n.gsub!(/[Å•Å™Å—]/, ‘r’)
n.gsub!(/[Å›Å¡ÅŸÅÈ™]/, ‘s’)
n.gsub!(/[Å¥Å£Å§È›]/, ‘t’)
n.gsub!(/[Ã¹ÃºÃ»Ã¼Å«Å¯Å±ÅÅ©Å³]/, ‘u’)
n.gsub!(/Åµ/, ‘w’)
n.gsub!(/[Ã½Ã¿Å·]/, ‘y’)
n.gsub!(/[Å¾Å¼Åº]/, ‘z’)
n.gsub!(/\s+/, ’ ‘)
n.tr!(’^ a-z0-9_/\-’, ‘’)
n
end

lourdes · August 21, 2007, 4:47pm

el problema con el .tr original es muy posible que tenga que ver con
los caracteres unicode…

se que “jcode” (la libreria de unicode para ruby) redefine varias
funciones para que sean compatibles con caracteres multibyte
(utf-8)… entre estas esta gsub, pero no se si tr. El rdoc menciona
la funcion, pero el comportamiento que describes me hace pensar que
por alli viene el problema.