Буква й которая не й, смешение кириллицы и латиницы

[Ципихович Эндрю]

здравствуйте, как найти описанное в переменной:

txt = """
Найти в тексте любую букву на кириллице + следом идущую любую букву на латинице, например: аa
Найти в тексте любую букву на латинице + следом идущую любую букву на кириллице, например: aа
Найти в тексте непонятную букву, схожую с кириллицей или латиницей, например: й й
"""

спасибо

[Ципихович Эндрю]

пытался сделать сам, потерпел неудачу))

import re
 
txt = """
Найти в тексте любую букву на кириллице + следом идущую любую букву на латинице, например: аa
Найти в тексте любую букву на латинице + следом идущую любую букву на кириллице, например: aа
Найти в тексте непонятную букву, схожую с кириллицей или латиницей, например: й й
"""
 
pattern = re.compile(r'[а-я][a-zA-Z]')
 
result = pattern.findall(txt)
 
if result:
    print('Найденные вхождения:', result)
else:
    print('Вхождений не найдено.')

вывод должен быть
Найденные вхождения: ['аa', 'aа', 'й']

[Ципихович Эндрю]

переделал код:

import re
import unicodedata

# Диапазоны кодов для кириллицы
cyrillic_start = 192
cyrillic_end = 255

# Диапазоны кодов для латиницы
latin_start = 65
latin_end = 90

def is_cyrillic(char):
    return cyrillic_start <= ord(char) <= cyrillic_end

def is_latin(char):
    return latin_start <= ord(char) <= latin_end

def find_latin_cyrillic_pair(txt):
    pattern = re.compile(r"[а-я]+[a-z]+")
    matches = pattern.finditer(txt)
    return set(m.group() for m in matches)

def find_cyrillic_latin_pair(txt):
    pattern = re.compile(r"[a-z]+[а-я]+")
    matches = pattern.finditer(txt)
    return set(m.group() for m in matches)

txt = """Найти в тексте любую букву на кириллице + следом идущую любую букву на латинице, например: аa
    Найти в тексте любую букву на латинице + следом идущую любую букву на кириллице, например: aа
    Найти в тексте непонятную букву, схожую с кириллицей или латиницей, например: й й"""

print(f"latin_cyrillic: {find_latin_cyrillic_pair(txt)}")
print(f"cyrillic_latin: {find_cyrillic_latin_pair(txt)}")

длинноватый получился, покороче нельзя? и ещё не понял как искать знак й, который не является буквой й?

[Ципихович Эндрю]

Сообщение от Ципихович Эндрю

как искать знак й, который не является буквой й?

вот этот:

print(len('й')) # здесь и с диакритическим знаком len = 2

и ему подобные

[Ципихович Эндрю]

вот код и как говорится, аппетит приходит во время еды)):

import re
x = """Найти в тексте любую букву на кириллице + следом идущую любую букву на латинице, например: аa
    Найти в тексте любую букву на латинице + следом идущую любую букву на кириллице, например: aа
    Найти в тексте непонятную букву, схожую с кириллицей или латиницей, например:
    й - это буква и с диакритическим знаком"""
lst_k_d = re.findall(r'[а-яёА-ЯЁ][\u0300-\u036f]+', x)
if lst_k_d: print(f'Список букв схожих с буквами на кириллице и следующим за ними диакритическим знаком (например-й): {lst_k_d}')
print('Список букв на кириллице + следом идущая любая буква на латинице:')
print() # может кто-либо поправить, чтобы был короткий код для поиска в отличие от моего в посте № 3 
print('Список букв на латинице + следом идущая любая буква на кириллице:')
print() # может кто-либо поправить, чтобы был короткий код для поиска в отличие от моего в посте № 3

[Ципихович Эндрю]

lst_k_d = re.findall(r'[а-яёА-ЯЁ][\u0300-\u036f]+', text)
if lst_k_d: print('Список букв схожих с буквами на кириллице и следующим за ними диакритическим знаком (например-й): ' + str(list(set(lst_k_d))))

скрипт выдал сообщение
Список букв схожих с буквами на кириллице и следующим за ними диакритическим знаком (например-й): ['\x9690', '\x9697', '\x9694', ...................
начал смотреть а их то и нет в документе, почему меня скрипт вводит в заблуждение? и как его поправить?

[Vapaamies]

Сообщение от Ципихович Эндрю

и ещё не понял как искать знак й, который не является буквой й?

Нужно сделать нормализацию с композицией (NFC). Ее умеет ICU. Вот для примера код на PHP, использующий нормализацию (в данном случае это NFKC — их есть несколько) для генерации ЧПУ страницы с необязательной транслитерацией:

function slugify($string, $transliterate = 0) {
    $string = transliterator_transliterate('NFKC; [^[:Letter:][:Digit:][:Space:]\x21-\x2F\x3A-\x40\x5B-\x60\x7B-\x7E] Remove; Lower' . ($transliterate ? '; Any-Latin; Latin-ASCII' : ''), $string);
    return trim(preg_replace('/[-\s\x21-\x2F\x3A-\x40\x5B-\x60\x7B-\x7E]+/', '-', $string), '-');
}

[Ципихович Эндрю]

Сообщение от Vapaamies

код на PHP

к сожалению мне не подходит))

[Vapaamies]

Гуглить тоже мне пришлось: unicodedata — Unicode Database.

unicodedata.normalize(form, unistr)

Return the normal form form for the Unicode string unistr. Valid values for form are ‘NFC’, ‘NFKC’, ‘NFD’, and ‘NFKD’.

У меня показывает длину 1:

import unicodedata
print(len(unicodedata.normalize('NFC', 'й')))

То есть оказалось, что в Питоне встроенная поддержка нормализации Юникода есть, даже PyICU ставить не надо.

[Ципихович Эндрю]

вопрос то в том, что мне нужно символ "й", который схож с буквой "й", но нею не является нужно найти, и может кроме этого примера есть ещё засады подобного рода, я и спрашиваю как? спасибо