WordPress.org
Get WordPress

Make WordPress Core

Ticket #16908: 16908.3.patch

File 16908.3.patch, 14.9 KB (added by hakre, 14 years ago)

get_transliteration_table()

  • wp-includes/formatting.php 

    ### Eclipse Workspace Patch 1.0
#P wordpress-trunk
     
    538538 * @since 1.2.1
    539539 *
    540540 * @param string $string Text that might have accent characters
    541  * @return string Filtered string with replaced "nice" characters.
     541 * @return string Filtered string with replaced "nice" (US-ASCII) characters.
    542542 */
    543543function remove_accents($string) {
     544        // US-ASCII is considered all "nice"
    544545        if ( !preg_match('/[\x80-\xff]/', $string) )
    545546                return $string;
    546547
    547         if (seems_utf8($string)) {
     548        // Assume ISO-8859-1 if not UTF-8
     549        $table = seems_utf8( $string ) ? 'utf-8' : 'latin-1';
     550        $table = apply_filters( 'remove_accents_table', $table, $string );
     551        $chars = get_transliteration_table( $table );
     552        $string = strtr($string, $chars);
     553        return $string;
     554}
     555
     556/**
     557 * getter for a table that can be used in transliteration
     558 *
     559 * @since 3.2
     560 *
     561 * @param $label string transliteration table name
     562 * @return array transliteration table
     563 */
     564function get_transliteration_table( $table ) {
     565        if ('utf-8' === $table ) {
    548566                $chars = array(
    549                 // Decompositions for Latin-1 Supplement
    550                 chr(195).chr(128) => 'A', chr(195).chr(129) => 'A',
    551                 chr(195).chr(130) => 'A', chr(195).chr(131) => 'A',
    552                 chr(195).chr(132) => 'A', chr(195).chr(133) => 'A',
    553                 chr(195).chr(134) => 'AE',chr(195).chr(135) => 'C',
    554                 chr(195).chr(136) => 'E', chr(195).chr(137) => 'E',
    555                 chr(195).chr(138) => 'E', chr(195).chr(139) => 'E',
    556                 chr(195).chr(140) => 'I', chr(195).chr(141) => 'I',
    557                 chr(195).chr(142) => 'I', chr(195).chr(143) => 'I',
    558                 chr(195).chr(144) => 'D', chr(195).chr(145) => 'N',
    559                 chr(195).chr(146) => 'O', chr(195).chr(147) => 'O',
    560                 chr(195).chr(148) => 'O', chr(195).chr(149) => 'O',
    561                 chr(195).chr(150) => 'O', chr(195).chr(153) => 'U',
    562                 chr(195).chr(154) => 'U', chr(195).chr(155) => 'U',
    563                 chr(195).chr(156) => 'U', chr(195).chr(157) => 'Y',
    564                 chr(195).chr(158) => 'TH',chr(195).chr(159) => 's',
    565                 chr(195).chr(160) => 'a', chr(195).chr(161) => 'a',
    566                 chr(195).chr(162) => 'a', chr(195).chr(163) => 'a',
    567                 chr(195).chr(164) => 'a', chr(195).chr(165) => 'a',
    568                 chr(195).chr(166) => 'ae',chr(195).chr(167) => 'c',
    569                 chr(195).chr(168) => 'e', chr(195).chr(169) => 'e',
    570                 chr(195).chr(170) => 'e', chr(195).chr(171) => 'e',
    571                 chr(195).chr(172) => 'i', chr(195).chr(173) => 'i',
    572                 chr(195).chr(174) => 'i', chr(195).chr(175) => 'i',
    573                 chr(195).chr(176) => 'd', chr(195).chr(177) => 'n',
    574                 chr(195).chr(178) => 'o', chr(195).chr(179) => 'o',
    575                 chr(195).chr(180) => 'o', chr(195).chr(181) => 'o',
    576                 chr(195).chr(182) => 'o', chr(195).chr(182) => 'o',
    577                 chr(195).chr(185) => 'u', chr(195).chr(186) => 'u',
    578                 chr(195).chr(187) => 'u', chr(195).chr(188) => 'u',
    579                 chr(195).chr(189) => 'y', chr(195).chr(190) => 'th',
    580                 chr(195).chr(191) => 'y',
    581                 // Decompositions for Latin Extended-A
    582                 chr(196).chr(128) => 'A', chr(196).chr(129) => 'a',
    583                 chr(196).chr(130) => 'A', chr(196).chr(131) => 'a',
    584                 chr(196).chr(132) => 'A', chr(196).chr(133) => 'a',
    585                 chr(196).chr(134) => 'C', chr(196).chr(135) => 'c',
    586                 chr(196).chr(136) => 'C', chr(196).chr(137) => 'c',
    587                 chr(196).chr(138) => 'C', chr(196).chr(139) => 'c',
    588                 chr(196).chr(140) => 'C', chr(196).chr(141) => 'c',
    589                 chr(196).chr(142) => 'D', chr(196).chr(143) => 'd',
    590                 chr(196).chr(144) => 'D', chr(196).chr(145) => 'd',
    591                 chr(196).chr(146) => 'E', chr(196).chr(147) => 'e',
    592                 chr(196).chr(148) => 'E', chr(196).chr(149) => 'e',
    593                 chr(196).chr(150) => 'E', chr(196).chr(151) => 'e',
    594                 chr(196).chr(152) => 'E', chr(196).chr(153) => 'e',
    595                 chr(196).chr(154) => 'E', chr(196).chr(155) => 'e',
    596                 chr(196).chr(156) => 'G', chr(196).chr(157) => 'g',
    597                 chr(196).chr(158) => 'G', chr(196).chr(159) => 'g',
    598                 chr(196).chr(160) => 'G', chr(196).chr(161) => 'g',
    599                 chr(196).chr(162) => 'G', chr(196).chr(163) => 'g',
    600                 chr(196).chr(164) => 'H', chr(196).chr(165) => 'h',
    601                 chr(196).chr(166) => 'H', chr(196).chr(167) => 'h',
    602                 chr(196).chr(168) => 'I', chr(196).chr(169) => 'i',
    603                 chr(196).chr(170) => 'I', chr(196).chr(171) => 'i',
    604                 chr(196).chr(172) => 'I', chr(196).chr(173) => 'i',
    605                 chr(196).chr(174) => 'I', chr(196).chr(175) => 'i',
    606                 chr(196).chr(176) => 'I', chr(196).chr(177) => 'i',
    607                 chr(196).chr(178) => 'IJ',chr(196).chr(179) => 'ij',
    608                 chr(196).chr(180) => 'J', chr(196).chr(181) => 'j',
    609                 chr(196).chr(182) => 'K', chr(196).chr(183) => 'k',
    610                 chr(196).chr(184) => 'k', chr(196).chr(185) => 'L',
    611                 chr(196).chr(186) => 'l', chr(196).chr(187) => 'L',
    612                 chr(196).chr(188) => 'l', chr(196).chr(189) => 'L',
    613                 chr(196).chr(190) => 'l', chr(196).chr(191) => 'L',
    614                 chr(197).chr(128) => 'l', chr(197).chr(129) => 'L',
    615                 chr(197).chr(130) => 'l', chr(197).chr(131) => 'N',
    616                 chr(197).chr(132) => 'n', chr(197).chr(133) => 'N',
    617                 chr(197).chr(134) => 'n', chr(197).chr(135) => 'N',
    618                 chr(197).chr(136) => 'n', chr(197).chr(137) => 'N',
    619                 chr(197).chr(138) => 'n', chr(197).chr(139) => 'N',
    620                 chr(197).chr(140) => 'O', chr(197).chr(141) => 'o',
    621                 chr(197).chr(142) => 'O', chr(197).chr(143) => 'o',
    622                 chr(197).chr(144) => 'O', chr(197).chr(145) => 'o',
    623                 chr(197).chr(146) => 'OE',chr(197).chr(147) => 'oe',
    624                 chr(197).chr(148) => 'R',chr(197).chr(149) => 'r',
    625                 chr(197).chr(150) => 'R',chr(197).chr(151) => 'r',
    626                 chr(197).chr(152) => 'R',chr(197).chr(153) => 'r',
    627                 chr(197).chr(154) => 'S',chr(197).chr(155) => 's',
    628                 chr(197).chr(156) => 'S',chr(197).chr(157) => 's',
    629                 chr(197).chr(158) => 'S',chr(197).chr(159) => 's',
    630                 chr(197).chr(160) => 'S', chr(197).chr(161) => 's',
    631                 chr(197).chr(162) => 'T', chr(197).chr(163) => 't',
    632                 chr(197).chr(164) => 'T', chr(197).chr(165) => 't',
    633                 chr(197).chr(166) => 'T', chr(197).chr(167) => 't',
    634                 chr(197).chr(168) => 'U', chr(197).chr(169) => 'u',
    635                 chr(197).chr(170) => 'U', chr(197).chr(171) => 'u',
    636                 chr(197).chr(172) => 'U', chr(197).chr(173) => 'u',
    637                 chr(197).chr(174) => 'U', chr(197).chr(175) => 'u',
    638                 chr(197).chr(176) => 'U', chr(197).chr(177) => 'u',
    639                 chr(197).chr(178) => 'U', chr(197).chr(179) => 'u',
    640                 chr(197).chr(180) => 'W', chr(197).chr(181) => 'w',
    641                 chr(197).chr(182) => 'Y', chr(197).chr(183) => 'y',
    642                 chr(197).chr(184) => 'Y', chr(197).chr(185) => 'Z',
    643                 chr(197).chr(186) => 'z', chr(197).chr(187) => 'Z',
    644                 chr(197).chr(188) => 'z', chr(197).chr(189) => 'Z',
    645                 chr(197).chr(190) => 'z', chr(197).chr(191) => 's',
    646                 // Decompositions for Latin Extended-B
    647                 chr(200).chr(152) => 'S', chr(200).chr(153) => 's',
    648                 chr(200).chr(154) => 'T', chr(200).chr(155) => 't',
    649                 // Euro Sign
    650                 chr(226).chr(130).chr(172) => 'E',
    651                 // GBP (Pound) Sign
    652                 chr(194).chr(163) => '');
    653 
    654                 $string = strtr($string, $chars);
     567                        // Decompositions for Latin-1 Supplement
     568                        chr(195).chr(128) => 'A', chr(195).chr(129) => 'A',
     569                        chr(195).chr(130) => 'A', chr(195).chr(131) => 'A',
     570                        chr(195).chr(132) => 'A', chr(195).chr(133) => 'A',
     571                        chr(195).chr(134) => 'AE',chr(195).chr(135) => 'C',
     572                        chr(195).chr(136) => 'E', chr(195).chr(137) => 'E',
     573                        chr(195).chr(138) => 'E', chr(195).chr(139) => 'E',
     574                        chr(195).chr(140) => 'I', chr(195).chr(141) => 'I',
     575                        chr(195).chr(142) => 'I', chr(195).chr(143) => 'I',
     576                        chr(195).chr(144) => 'D', chr(195).chr(145) => 'N',
     577                        chr(195).chr(146) => 'O', chr(195).chr(147) => 'O',
     578                        chr(195).chr(148) => 'O', chr(195).chr(149) => 'O',
     579                        chr(195).chr(150) => 'O', chr(195).chr(153) => 'U',
     580                        chr(195).chr(154) => 'U', chr(195).chr(155) => 'U',
     581                        chr(195).chr(156) => 'U', chr(195).chr(157) => 'Y',
     582                        chr(195).chr(158) => 'TH',chr(195).chr(159) => 's',
     583                        chr(195).chr(160) => 'a', chr(195).chr(161) => 'a',
     584                        chr(195).chr(162) => 'a', chr(195).chr(163) => 'a',
     585                        chr(195).chr(164) => 'a', chr(195).chr(165) => 'a',
     586                        chr(195).chr(166) => 'ae',chr(195).chr(167) => 'c',
     587                        chr(195).chr(168) => 'e', chr(195).chr(169) => 'e',
     588                        chr(195).chr(170) => 'e', chr(195).chr(171) => 'e',
     589                        chr(195).chr(172) => 'i', chr(195).chr(173) => 'i',
     590                        chr(195).chr(174) => 'i', chr(195).chr(175) => 'i',
     591                        chr(195).chr(176) => 'd', chr(195).chr(177) => 'n',
     592                        chr(195).chr(178) => 'o', chr(195).chr(179) => 'o',
     593                        chr(195).chr(180) => 'o', chr(195).chr(181) => 'o',
     594                        chr(195).chr(182) => 'o', chr(195).chr(182) => 'o',
     595                        chr(195).chr(185) => 'u', chr(195).chr(186) => 'u',
     596                        chr(195).chr(187) => 'u', chr(195).chr(188) => 'u',
     597                        chr(195).chr(189) => 'y', chr(195).chr(190) => 'th',
     598                        chr(195).chr(191) => 'y',
     599                        // Decompositions for Latin Extended-A
     600                        chr(196).chr(128) => 'A', chr(196).chr(129) => 'a',
     601                        chr(196).chr(130) => 'A', chr(196).chr(131) => 'a',
     602                        chr(196).chr(132) => 'A', chr(196).chr(133) => 'a',
     603                        chr(196).chr(134) => 'C', chr(196).chr(135) => 'c',
     604                        chr(196).chr(136) => 'C', chr(196).chr(137) => 'c',
     605                        chr(196).chr(138) => 'C', chr(196).chr(139) => 'c',
     606                        chr(196).chr(140) => 'C', chr(196).chr(141) => 'c',
     607                        chr(196).chr(142) => 'D', chr(196).chr(143) => 'd',
     608                        chr(196).chr(144) => 'D', chr(196).chr(145) => 'd',
     609                        chr(196).chr(146) => 'E', chr(196).chr(147) => 'e',
     610                        chr(196).chr(148) => 'E', chr(196).chr(149) => 'e',
     611                        chr(196).chr(150) => 'E', chr(196).chr(151) => 'e',
     612                        chr(196).chr(152) => 'E', chr(196).chr(153) => 'e',
     613                        chr(196).chr(154) => 'E', chr(196).chr(155) => 'e',
     614                        chr(196).chr(156) => 'G', chr(196).chr(157) => 'g',
     615                        chr(196).chr(158) => 'G', chr(196).chr(159) => 'g',
     616                        chr(196).chr(160) => 'G', chr(196).chr(161) => 'g',
     617                        chr(196).chr(162) => 'G', chr(196).chr(163) => 'g',
     618                        chr(196).chr(164) => 'H', chr(196).chr(165) => 'h',
     619                        chr(196).chr(166) => 'H', chr(196).chr(167) => 'h',
     620                        chr(196).chr(168) => 'I', chr(196).chr(169) => 'i',
     621                        chr(196).chr(170) => 'I', chr(196).chr(171) => 'i',
     622                        chr(196).chr(172) => 'I', chr(196).chr(173) => 'i',
     623                        chr(196).chr(174) => 'I', chr(196).chr(175) => 'i',
     624                        chr(196).chr(176) => 'I', chr(196).chr(177) => 'i',
     625                        chr(196).chr(178) => 'IJ',chr(196).chr(179) => 'ij',
     626                        chr(196).chr(180) => 'J', chr(196).chr(181) => 'j',
     627                        chr(196).chr(182) => 'K', chr(196).chr(183) => 'k',
     628                        chr(196).chr(184) => 'k', chr(196).chr(185) => 'L',
     629                        chr(196).chr(186) => 'l', chr(196).chr(187) => 'L',
     630                        chr(196).chr(188) => 'l', chr(196).chr(189) => 'L',
     631                        chr(196).chr(190) => 'l', chr(196).chr(191) => 'L',
     632                        chr(197).chr(128) => 'l', chr(197).chr(129) => 'L',
     633                        chr(197).chr(130) => 'l', chr(197).chr(131) => 'N',
     634                        chr(197).chr(132) => 'n', chr(197).chr(133) => 'N',
     635                        chr(197).chr(134) => 'n', chr(197).chr(135) => 'N',
     636                        chr(197).chr(136) => 'n', chr(197).chr(137) => 'N',
     637                        chr(197).chr(138) => 'n', chr(197).chr(139) => 'N',
     638                        chr(197).chr(140) => 'O', chr(197).chr(141) => 'o',
     639                        chr(197).chr(142) => 'O', chr(197).chr(143) => 'o',
     640                        chr(197).chr(144) => 'O', chr(197).chr(145) => 'o',
     641                        chr(197).chr(146) => 'OE',chr(197).chr(147) => 'oe',
     642                        chr(197).chr(148) => 'R',chr(197).chr(149) => 'r',
     643                        chr(197).chr(150) => 'R',chr(197).chr(151) => 'r',
     644                        chr(197).chr(152) => 'R',chr(197).chr(153) => 'r',
     645                        chr(197).chr(154) => 'S',chr(197).chr(155) => 's',
     646                        chr(197).chr(156) => 'S',chr(197).chr(157) => 's',
     647                        chr(197).chr(158) => 'S',chr(197).chr(159) => 's',
     648                        chr(197).chr(160) => 'S', chr(197).chr(161) => 's',
     649                        chr(197).chr(162) => 'T', chr(197).chr(163) => 't',
     650                        chr(197).chr(164) => 'T', chr(197).chr(165) => 't',
     651                        chr(197).chr(166) => 'T', chr(197).chr(167) => 't',
     652                        chr(197).chr(168) => 'U', chr(197).chr(169) => 'u',
     653                        chr(197).chr(170) => 'U', chr(197).chr(171) => 'u',
     654                        chr(197).chr(172) => 'U', chr(197).chr(173) => 'u',
     655                        chr(197).chr(174) => 'U', chr(197).chr(175) => 'u',
     656                        chr(197).chr(176) => 'U', chr(197).chr(177) => 'u',
     657                        chr(197).chr(178) => 'U', chr(197).chr(179) => 'u',
     658                        chr(197).chr(180) => 'W', chr(197).chr(181) => 'w',
     659                        chr(197).chr(182) => 'Y', chr(197).chr(183) => 'y',
     660                        chr(197).chr(184) => 'Y', chr(197).chr(185) => 'Z',
     661                        chr(197).chr(186) => 'z', chr(197).chr(187) => 'Z',
     662                        chr(197).chr(188) => 'z', chr(197).chr(189) => 'Z',
     663                        chr(197).chr(190) => 'z', chr(197).chr(191) => 's',
     664                        // Decompositions for Latin Extended-B
     665                        chr(200).chr(152) => 'S', chr(200).chr(153) => 's',
     666                        chr(200).chr(154) => 'T', chr(200).chr(155) => 't',
     667                        // Euro Sign
     668                        chr(226).chr(130).chr(172) => 'E',
     669                        // GBP (Pound) Sign
     670                        chr(194).chr(163) => ''
     671                );
     672        } elseif ( 'latin-1' === $table ) {
     673                $chars = array(
     674                        chr(128) => 'E', chr(131) => 'f',
     675                        chr(138) => 'S', chr(140) => 'OE',
     676                        chr(142) => 'Z', chr(154) => 's',
     677                        chr(156) => 'oe', chr(158) => 'z',
     678                        chr(159) => 'Y', chr(162) => 'c',
     679                        chr(165) => 'Y', chr(181) => 'u',
     680                        chr(192) => 'A', chr(193) => 'A',
     681                        chr(194) => 'A', chr(195) => 'A',
     682                        chr(196) => 'A', chr(197) => 'A',
     683                        chr(198) => 'AE', chr(199) => 'C',
     684                        chr(200) => 'E', chr(201) => 'E',
     685                        chr(202) => 'E', chr(203) => 'E',
     686                        chr(204) => 'I', chr(205) => 'I',
     687                        chr(206) => 'I', chr(207) => 'I',
     688                        chr(209) => 'N', chr(208) => 'DH',
     689                        chr(210) => 'O', chr(211) => 'O',
     690                        chr(212) => 'O', chr(213) => 'O',
     691                        chr(214) => 'O', chr(216) => 'O',
     692                        chr(217) => 'U', chr(218) => 'U',
     693                        chr(219) => 'U', chr(220) => 'U',
     694                        chr(221) => 'Y', chr(222) => 'TH',
     695                        chr(223) => 'ss', chr(224) => 'a',
     696                        chr(225) => 'a', chr(226) => 'a',
     697                        chr(227) => 'a', chr(228) => 'a',
     698                        chr(229) => 'a', chr(230) => 'ae',
     699                        chr(231) => 'c', chr(232) => 'e',
     700                        chr(233) => 'e', chr(234) => 'e',
     701                        chr(235) => 'e', chr(236) => 'i',
     702                        chr(237) => 'i', chr(238) => 'i',
     703                        chr(239) => 'i', chr(240) => 'dh',
     704                        chr(241) => 'n', chr(242) => 'o',
     705                        chr(243) => 'o', chr(244) => 'o',
     706                        chr(245) => 'o', chr(246) => 'o',
     707                        chr(248) => 'o', chr(249) => 'u',
     708                        chr(250) => 'u', chr(251) => 'u',
     709                        chr(252) => 'u', chr(253) => 'y',
     710                        chr(254) => 'th', chr(255) => 'y'
     711                );
    655712        } else {
    656                 // Assume ISO-8859-1 if not UTF-8
    657                 $chars['in'] = chr(128).chr(131).chr(138).chr(142).chr(154).chr(158)
    658                         .chr(159).chr(162).chr(165).chr(181).chr(192).chr(193).chr(194)
    659                         .chr(195).chr(196).chr(197).chr(199).chr(200).chr(201).chr(202)
    660                         .chr(203).chr(204).chr(205).chr(206).chr(207).chr(209).chr(210)
    661                         .chr(211).chr(212).chr(213).chr(214).chr(216).chr(217).chr(218)
    662                         .chr(219).chr(220).chr(221).chr(224).chr(225).chr(226).chr(227)
    663                         .chr(228).chr(229).chr(231).chr(232).chr(233).chr(234).chr(235)
    664                         .chr(236).chr(237).chr(238).chr(239).chr(241).chr(242).chr(243)
    665                         .chr(244).chr(245).chr(246).chr(248).chr(249).chr(250).chr(251)
    666                         .chr(252).chr(253).chr(255);
    667 
    668                 $chars['out'] = "EfSZszYcYuAAAAAACEEEEIIIINOOOOOOUUUUYaaaaaaceeeeiiiinoooooouuuuyy";
    669 
    670                 $string = strtr($string, $chars['in'], $chars['out']);
    671                 $double_chars['in'] = array(chr(140), chr(156), chr(198), chr(208), chr(222), chr(223), chr(230), chr(240), chr(254));
    672                 $double_chars['out'] = array('OE', 'oe', 'AE', 'DH', 'TH', 'ss', 'ae', 'dh', 'th');
    673                 $string = str_replace($double_chars['in'], $double_chars['out'], $string);
     713                // unknown table
     714                $chars = array();
    674715        }
    675 
    676         return $string;
     716        return apply_filters( 'get_transliteration_table', $chars, $table );
    677717}
    678718
    679719/**