Поиск по кириллице регистрозависим !?

[stas25]

Здравствуйте.
Столкнулся со следующей проблемой:
По запросу "Запрос" имею найденный результат, в то время как "запрос" ничего не находит.
Проблема только с кириллицей.
Подскажите, как быть, спасибо.

[Fenik17]

Какая кодировка у базы? Точнее, что на конце - ci или cs?
Потому что между utf8_general_ci и utf8_general_cs есть разница. Вторая чувствительна к регистру.

[stas25]

Code: Select all

SHOW FULL COLUMNS from tbl_name;

Говорит о отом, что все необходимые данные в utf8_general_ci. Сама база также в utf8_general_ci

[stas25]

Это только моя проблема, или нет? Непонятно куда копать...

[Fenik17]

У меня ищет одинаково. В настройках, случайно, не стоит галка "Использовать морфологический поиск (только для английского):"?

[stas25]

Нет, морфологический поиск выключен, база в правильной кодировке и версия CMS последняя.
Может быть подскажете, в каком месте в коде можно поисковый запрос поковырять перед непосредственно поиском? я что-то не вкурю это с первого раза (дело в том что основной разработчик в отпуске и временно подошел бы любой костыль).
Спасибо за помощь!

[Fenik17]

В config.php надо включить дебаг-режим:

Code: Select all

$config['debug'] = true;

Тогда под содержимым страницы будет выводиться отладочная информация, в т.ч. sql-запросы.

[stas25]

Попробовал, вижу выполняется такой запрос

SELECT count(P.id) FROM module_products P WHERE P.product_name REGEXP 'запрос' AND P.status = 'published'

В phpmyadmin этот запрос также ничего не находит, а вот если поменять на

SELECT count(P.id) FROM module_products P WHERE P.product_name LIKE '%запрос%' AND P.status = 'published'

то все хорошо независимо от регистра.
Придется ставить костыль.

[Vladimir]

По запросу "Запрос" имею найденный результат, в то время как "запрос" ничего не находит.
Проблема только с кириллицей.

Как я понял поиск происходит следующим образом - при добавлении и редактировании происходит индексация. Поиск происходит по индексу и этот поиск регистрозависим. Если включить в настройках поиска "Использовать морфологический поиск " (предварительно заменив PorterStemmer.class.php для работы с кирилицей) и произвести индексацию слова типа "Запрос" в индекс попадут в виде строки "запрос". Соответственно при поиске происходит такая же замена, т.е. все слова обрезаются, убираются прописные буквы, окончания, суфиксы и пр.

Вот код для PorterStemmer.class.php который я нашел на форуме Дервера. Код мною подправлен по рекомендациям учасников форума. Проверил, работает на 3+ . Может кто лучше предложит?

Code: Select all

class PorterStemmer
{
    var $VERSION = "0.02";
    var $Stem_Caching = 0;
    var $Stem_Cache = array();
    var $VOWEL = 'аеиоуыэюя';
    var $PERFECTIVEGROUND = '((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$';
    var $REFLEXIVE = '(с[яь])$';
    var $ADJECTIVE = '(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$';
    var $PARTICIPLE = '((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$';
    var $VERB = '((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|ило|ыло|ено|ят|ует|уют|ит|ыт|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$';
    var $NOUN = '(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|ям|ием|ем|ам|ом|о|у|ах|иях|ях|ы|ь|ию|ью|ю|ия|ья|я)$';
    var $RVRE = '^(.*?[аеиоуыэюя])(.*)$';
    var $DERIVATIONAL = '[^аеиоуыэюя][аеиоуыэюя]+[^аеиоуыэюя]+[аеиоуыэюя].*(?<=о)сть?$';

    function s(&$s, $re, $to)
    {
        $orig = $s;
        $s = mb_ereg_replace($re, $to, $s);
        return $orig !== $s;
    }

    function m($s, $re)
    {
        return mb_ereg_match($re, $s);
    }

    function Stem($word)
    {
        mb_regex_encoding( 'UTF-8' );
        mb_internal_encoding( 'UTF-8' ); 
        
        $word = mb_strtolower($word);
        $word = str_replace('ё','е',$word);
        # Check against cache of stemmed words
        if ($this->Stem_Caching && isset($this->Stem_Cache[$word])) {
            return $this->Stem_Cache[$word];
        }
        $stem = $word;
        do {
          if (!mb_ereg($this->RVRE, $word, $p)) break;
          $start = $p[1];
          $RV = $p[2];
          if (!$RV) break;

          # Step 1
          if (!$this->s($RV, $this->PERFECTIVEGROUND, '')) {
              $this->s($RV, $this->REFLEXIVE, '');

              if ($this->s($RV, $this->ADJECTIVE, '')) {
                  $this->s($RV, $this->PARTICIPLE, '');
              } else {
                  if (!$this->s($RV, $this->VERB, ''))
                      $this->s($RV, $this->NOUN, '');
              }
          }

          # Step 2
          $this->s($RV, 'и$', '');

          # Step 3
          if ($this->m($RV, $this->DERIVATIONAL))
              $this->s($RV, 'ость?$', '');

          # Step 4
          if (!$this->s($RV, 'ь$', '')) {
              $this->s($RV, 'ейше', '');
              $this->s($RV, 'нн$', 'н');
          }

          $stem = $start.$RV;
        } while(false);
        if ($this->Stem_Caching) $this->Stem_Cache[$word] = $stem;
      
        return $stem;
    }

    function stem_caching($parm_ref)
    {
        $caching_level = @$parm_ref['-level'];
        if ($caching_level) {
            if (!$this->m($caching_level, '^[012]$')) {
                die(__CLASS__ . "::stem_caching() - Legal values are '0','1' or '2'. '$caching_level' is not a legal value");
            }
            $this->Stem_Caching = $caching_level;
        }
        return $this->Stem_Caching;
    }

    function clear_stem_cache()
    {
        $this->Stem_Cache = array();
    }
}