Подсчет вероятности встречи в тексте двухсимвольных сочетаний

[just4question]

Попросили помочь, а так как сам в программировании не силен, решил спросить совета
Задача - считать из файла текст и подсчитать вероятность встречи двухсимвольных сочетаний (Например в тексте "Мама мыла раму" - "ма" - 2 раза, "мы" - 1 раз и т.д.). Как видится алгоритм:
1) считываем текстовый файл в переменную
2) пробегаем по тексту и удаляем проблемы, знаки препинания, буквы вроде "ъ" и т.д. (условие есть в задании)
3) полученный блок запихиваем в массив в виде $array[ма]=2, где "ма" - сочетание букв, "2" - сколько раз встретилось в тексте.
4) На основе количества элементов массива и вероятности их встречи считаем процентные соотношения.

Собственно вопросы
а) пока вижу пункт 3 только как "взять след 2 символа, проверить массив, есть ли в нем такой элемент, если нет - добавить, если да - увеличить счетчик". Может есть более изящные варианты?
б) к реализации программы нет никаких требований, поэтому посоветуйте пожалуйста язык, где есть средства/встроенные функции для подобного Сам присматриваюсь к perl или php, они вроде много всего имеют для работы с текстом, а о каком языке читать мне разницы нет

Заранее спасибо.

[rrrFer]

а о каком языке читать мне разницы нет

ты мне нравишься )
на прологе держи: (программа выводит количество вхождения каждой пары символов в СТРОКЕ (без учета регистров и пропуска пробельных символов).

predicates
	p(string)
	p1( string )
	out
database
	f(string,integer)
goal
	S = "Мама мыла раму", retractall(f(_,_)),!,
	write( S ), nl, p( S ), out.
clauses
	p( S ):-
		frontchar( S, C1, S1 ),
		frontchar( S1, C2, _ ),
		frontchar( P1, C2, "" ), 
		frontchar( P, C1, P1 ),!,
		p1( P ), p( S1 ).
	p( _ ):-!.
	p1( P ):-
		retract( f( P, N ) ),!, N1 = N + 1,
		assert( f( P, N1 ) ).
	p1( P ):-
		assert( f( P, 1 ) ).
	out:-
		retract( f( S, N ) ),!,
		write( S, "->", N ),nl,out.
	out.

Для ввода с файла замени:
S = "Мама мыла раму" на file_str("input.txt",S)
Осталось поискать в интернетах как установить всем символам один регистр ( думаю первой ссылки по "регистр символов prolog" будет достаточно, хотя....в какой кодировке файл? )

и чуть не забыл, удаление пробельных символов тоже есть в интернетах, но накидаю ( не проверял )

space("\n").
space("\t").
space(" ").
%....
rm("","").
rm(S,R):-
	frontchar(S,C,S1),NOT(space(C)),!,rm(S1,R1),frontchar(R,C,R1);
	frontchar(S,_,S1),rm(S1,R).

[bormot]

Сообщение от just4question

Попросили помочь, а так как сам в программировании не силен, решил спросить совета
Задача - считать из файла текст и подсчитать вероятность встречи двухсимвольных сочетаний (Например в тексте "Мама мыла раму" - "ма" - 2 раза, "мы" - 1 раз и т.д.). Как видится алгоритм:
1) считываем текстовый файл в переменную
2) пробегаем по тексту и удаляем проблемы, знаки препинания, буквы вроде "ъ" и т.д. (условие есть в задании)
3) полученный блок запихиваем в массив в виде $array[ма]=2, где "ма" - сочетание букв, "2" - сколько раз встретилось в тексте.
4) На основе количества элементов массива и вероятности их встречи считаем процентные соотношения.

Собственно вопросы
а) пока вижу пункт 3 только как "взять след 2 символа, проверить массив, есть ли в нем такой элемент, если нет - добавить, если да - увеличить счетчик". Может есть более изящные варианты?
б) к реализации программы нет никаких требований, поэтому посоветуйте пожалуйста язык, где есть средства/встроенные функции для подобного Сам присматриваюсь к perl или php, они вроде много всего имеют для работы с текстом, а о каком языке читать мне разницы нет

Заранее спасибо.

Нельзя удалять пробелы
Лучший язык доля работы со строками бейсик
Берете два символа поочередно и проверяете в цикле текст на совпадение

Сообщение от rrrFer

ты мне нравишься )
на прологе держи: (программа выводит количество вхождения каждой пары символов в СТРОКЕ (без учета регистров и пропуска пробельных символов).

А зачем Пролог?
Чтобы выпендрится ?

[BDA]

С "удалением" всех лишних символов (т.е. "мамамылараму") на Delphi:

unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls;

type
  TForm1 = class(TForm)
    Memo1: TMemo;
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;


const
  alp = 'АБВГДЕЁЖЗИЙКЛМНПОРСТУФХЦЧШЩЪЫЬЭЮЯ';

var
  Form1: TForm1;
  str: string;
  a: array[1..length(alp), 1..length(alp)] of integer;
  buf: string[2];
  i, j, count: integer;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
begin
  FillChar(a, SizeOf(a), 0);
  str := memo1.Text;
  memo1.Clear;
  str := AnsiUpperCase(str);
  buf := '';
  i := 1;
  count := 0;
  while (2 > length(buf)) and (i <= length(str)) do
  begin
    if pos(str[i], alp) > 0 then
      buf := buf + str[i];
    inc(i);
  end;
  //memo1.lines.Append(buf);
  if length(buf) = 2 then
  begin
    inc(a[pos(buf[1], alp), pos(buf[2], alp)]);
    inc(count);
  end;
  while i <= length(str) do
  begin
    if pos(str[i], alp) > 0 then
    begin
      buf[1] := buf[2];
      buf[2] := str[i];
      if a[pos(buf[1], alp), pos(buf[2], alp)] = 0 then
        inc(count);
      inc(a[pos(buf[1], alp), pos(buf[2], alp)]);
      //memo1.lines.Append(buf);
    end;
    inc(i);
  end;
  memo1.Lines.Append('count = ' + inttostr(count));
  if count > 0 then
    for i := 1 to length(alp) do
      for j := 1 to length(alp) do
        if a[i, j] <> 0 then
          memo1.Lines.append(alp[i] + alp[j] + ' ' +
            inttostr(a[i, j]) + ' ' + floattostr(100 * a[i, j] / count) + '%');
end;

end.

Без удаления символов:

procedure TForm1.Button1Click(Sender: TObject); //без удаления символов
begin
  FillChar(a, SizeOf(a), 0);
  str := memo1.Text;
  str := AnsiUpperCase(str);
  buf := '';
  i := 1;
  count := 0;
  for i := 1 to length(str) do
    if pos(str[i], alp) > 0 then
    begin
      buf := buf + str[i];
      if length(buf) = 2 then
      begin
        if a[pos(buf[1], alp), pos(buf[2], alp)] = 0 then
          inc(count);
        inc(a[pos(buf[1], alp), pos(buf[2], alp)]);
        buf := buf[2];
      end;
    end
    else
      buf := '';
  memo1.Lines.Append('count = ' + inttostr(count));
  if count > 0 then
    for i := 1 to length(alp) do
      for j := 1 to length(alp) do
        if a[i, j] <> 0 then
          memo1.Lines.append(alp[i] + alp[j] + ' {' +
            inttostr(a[i, j]) + '} ' + floattostr(100 * a[i, j] / count) + '%');
end;

[Stilet]

Лучший язык доля работы со строками бейсик

Не правда.

А зачем Пролог?
Чтобы выпендрится ?

Читай топ внимательно:

к реализации программы нет никаких требований, поэтому посоветуйте пожалуйста язык

Я с таким же успехом могу предложить решение на C# или регулярными выражениями на любом ЯВУ, поддерживающем их.

[bormot]

Сообщение от Stilet

Не правда.

Моя логика
Действительно NET дает одинаковые возможности разным языкам
Но бэйсик короче и удобочитальнее

Читай топ внимательно:
Я с таким же успехом могу предложить решение на C# или регулярными выражениями на любом ЯВУ, поддерживающем их

Не программист просит решить задачу на любом языке для друга
Обычно ему дают решение на псевдокоде или на наиболее распространенном языке
Пролог появился от желания извратится

[rrrFer]

Лучший язык доля работы со строками бейсик

ИМХО пролог удобнее.

Моя логика
Действительно NET дает одинаковые возможности разным языкам
Но бэйсик короче и удобочитальнее

не вижу логики. Вижу не аргументированные утверждения, по форме претендующие на "абсолютную истину", но ни содержания, ни логики нет.

ТС попросил помочь - мы помогли, не нравится - помоги лучше.

Сводить тему в холивары и оффтоп не стоит. Чтобы сказать что язык "лучше" надо формализовать это понятие и предложить критерии. С критерием "короче" не согласится большинство(см. брэинфак), "удобочитальнее" - субъективно, но бэйсик, в головах большинства, явно проигрывает подавляющему числу языков по этому критерию (широко распространено мнение что бэйсик делает людей инвалидами {хотя..ИМХО это не так - я проверял в детстве}).

Ну а если не можешь выразить адекватные критерии и провести нормальный анализ - ИМХО не стоит кидаться такими утверждениями (если не хочешь "выпендрится"{орфография сохранена}). "О чем нельзя говорить ясно - о том стоит молчать" (с) Витгенштейн.

Вопрос о "лучше языке" обсуждается уже много лет в соседнем разделе, там тебя уже ждет армия троллей.

[bormot]

Сообщение от rrrFer

ИМХО пролог удобнее.

не вижу логики. Вижу не аргументированные утверждения, по форме претендующие на "абсолютную истину", но ни содержания, ни логики нет.

ТС попросил помочь - мы помогли, не нравится - помоги лучше.

Сводить тему в холивары и оффтоп не стоит. Чтобы сказать что язык "лучше" надо формализовать это понятие и предложить критерии. С критерием "короче" не согласится большинство(см. брэинфак), "удобочитальнее" - субъективно, но бэйсик, в головах большинства, явно проигрывает подавляющему числу языков по этому критерию (широко распространено мнение что бэйсик делает людей инвалидами {хотя..ИМХО это не так - я проверял в детстве}).

Ну а если не можешь выразить адекватные критерии и провести нормальный анализ - ИМХО не стоит кидаться такими утверждениями (если не хочешь "выпендрится"{орфография сохранена}). "О чем нельзя говорить ясно - о том стоит молчать" (с) Витгенштейн.

Вопрос о "лучше языке" обсуждается уже много лет в соседнем разделе, там тебя уже ждет армия троллей.

Программа на брэйнфаке никак не может быть короче
Я остаюсь при своем мнении, что наиболее доступный язык лучший вариант, даже, если он уступает Прологу
Но согласен, что правильнее привести альтернативу, чем спорить о том, как надо решать задачу
На будущее учту

[Sasha_Smirnov]

В документе разрешаете доступ к VBA-содержимому либо просто переносите код (по Alt-F11) в свой заброшенный Word.

Замечу, что здесь вычисляется не вероятность где-то встретить тот или иной «слог» — а его абсолютная частота в конкретном тексте документа.