Codificação e normalização

Os caracteres ASCII usam 4 bytes em UTF-32, 2 bytes em UTF-16 e 1 byte em UTF-8. Os vários caracteres não-ASCII dos conjuntos de caracteres ISO Latim usam 4, 2, e 2 bytes nessas codificações. Os caracteres Han comuns (chinês), no entanto, usam 3 bytes em UTF-8 e 2 bytes (ou, mais precisamente, 16 bits) em UTF-16. Alguns caracteres Han raros usam 4 bytes em UTF-16 e UTF-8.

Unicode permite que alguns caracteres sejam codificados de mais de uma maneira. Por exemplo, o caractere À pode ser um único caractere Unicode, ‘Letra A Maiúscula Latina com Acento Grave’, ou dois caracteres, ‘Letra A Maiúscula Latina Seguida por um Acento Grave de Combinação’. Unicode define isso como sequências canonicamente equivalentes. Como IBM® Netezza deve tratar essas duas sequências como idênticas, ele não permitirá essas sequências equivalentes no banco de dados.

Em liberações anteriores, o Netezza não carregaria dados que usavam caracteres de combinação; portanto, Netezza não suporta idiomas como árabe, tailandês, urdu e hindi. O comando nzconvert possui um comutador -nfc que pode ser usado para converter a entrada que está em formato UTF-8, -16, ou -32 em formato Normalization Form C (NFC) usando as rotinas International Components for Unicode (ICU). Netezza carrega dados que estão no formato NFC.

Para evitar ambiguidade, Unicode define duas formas de normalização: Normalization Form C (NFC) e Normalization Form D (NFD). (Para obter uma descrição, consulte Unicode Standard Annex #15 em http://www.unicode.org/reports/tr15/ para a especificação.) NFD é basicamente ‘sempre decompor’ e NFC é ‘pré-compor quando possível’. Desde a Liberação 4.0.3, o Netezza carrega dados que estão no formato NFC.

Netezza suporta realmente um superconjunto leve do NFC, denominado NFC'. O superconjunto permite que o Netezza suporte também os caracteres de decomposição singleton, pois algumas vezes conversões padrão de algumas codificações de caracteres anteriores resultam em singletons. Para obter uma descrição de singletons, veja o Unicode Standard Annex #15.