найти сильно отличающееся значение

[WorldMaster]

Здравствуйте, чтото не могу найти подходящего эффективного алгоритма. Понимаю что решение должно быть простым но ...

В общем суть задачи:
Есть некоторые объекты которые надо отслеживать на каждой итерации алгоритма.
Есть метрика сравнения объектов. Результатом является число double.
вот примеры результатов сравнения.

[0.12]	   <- это нужный объект
[82.958]
[84.683]
[81.869]

[67,6048953225847]
[5,12]          <- это нужный объект
[68,1565898666424]
[67,6048953225847]

То есть когда объект найден в имеющимся списке то он радикально ниже по значению метрики чем окружающие.
НО .. это не минимальное значение поскольку когда массив изначально пуст и происходит первичное наполнение минимальное значение вернет неправильный результат

[67,6048953225847]   - это другой объект, на этой итерации новый объект надо добавить

[67,6048953225847]   - это другой объект, на этой итерации новый объект надо добавить
[84.683] - это другой объект, на этой итерации новый объект надо добавить

Вот вариант когда данные искажены сильно и метрика дает также расплывчатый результат:

[125.618]
[114.199]
[147.152]
[85.6786]  -  вот нужный объект

Пробовал смотреть по порогам но это тухлое дело поскольку пороги плавают в зависимости от изменения состояния объектов. где то 40 нормально но потом это может плавать в огромных диапазонах.
Также пытался максимум среднеквадратичного отклонения .. но то же самое что и с порогами.

В общем если у кого какие идеи есть подкиньте пожалуйста.

Спасибо.

[BDA]

А как вы понимаете, что это не тот объект, когда в списке мало объектов? Может быть и отталкиваться от количества? Если мало объектов, то не искать вообще, а если достаточно, то минимум по метрике?

[WorldMaster]

Сообщение от BDA

А как вы понимаете, что это не тот объект, когда в списке мало объектов? Может быть и отталкиваться от количества? Если мало объектов, то не искать вообще, а если достаточно, то минимум по метрике?

А нету границ. Может и один быть а может и 50. Надо соответствие найти. По идее у одинакового объекта метрика будет давать меньшее значение.
Может быть один объект какое то время, а затем бац и появился новый. и надо проверить есть ли новый уже в базе и провести сопоставление.

[Dekay]

Эм..

sum = a[0] + a[1] + .. + a[n-1];
for i in 0..n-1
  tmp_val = (sum-a[i])/(n-1);
  dev = abs(a[i] - tmp_val);

После этого ищется индекс, где dev максимальное. Конец. Ну или неправильно прочитал-понял задачу

[WorldMaster]

Сообщение от Dekay

Эм..

sum = a[0] + a[1] + .. + a[n-1];
for i in 0..n-1
  tmp_val = (sum-a[i])/(n-1);
  dev = abs(a[i] - tmp_val);

После этого ищется индекс, где dev максимальное. Конец. Ну или неправильно прочитал-понял задачу

Это среднеквадратичное отклонение.
Что оно вам выдаст в случае:

[82.958]
[84.683]
[81.869]

Оно найдет конечно максимальное но это не будет правильным. Потому что сейчас в базе нету объекта похожего.

[Аватар]

Сообщение от WorldMaster

Оно найдет конечно максимальное но это не будет правильным

В том примере отклонение от среднего не более двух процентов. Считать нормой, например, если отклонение процентов 30 и больше.

[WorldMaster]

Сообщение от Аватар

В том примере отклонение от среднего не более двух процентов. Считать нормой, например, если отклонение процентов 30 и больше.

А какой нибудь безпороговой меры не существует??

[Pavia]

А какой нибудь безпороговой меры не существует??

1)СКО - средне квадратичное отклонение.
2)
Берёшь среднее потом минимизируешь что меньше максимизируешь, что выше.
Считаешь количество максимумов и минимов. И выбираешь тех кого меньше это и будет искомое.
3) Bilateral Filtering бывает 2-х разновидностей смотрите ту что на основе order statisic
4) Мередиана.


А вообще вы бы описали зачем вам нужна метрика. А то так ничего не понятно. Лучше более предметно.

[Pavia]

https://www.tensorflow.org/api_docs/...as/activations
Посмотрите relu и softmax.

[ViktorR]

Pavia

4) Мередиана.

Эту оценку называют медианной (она совпадает со средним при симметричном распределении).
Если есть поток, то возможно, что существует некоторое предположение о его статистике или можно построить модель, которая позволит получить закон распределения вероятности.
В этом случае отбор можно будет сделать более обоснованно. В дополнение в модели можно установить размер окна, в котором работает статистика. В этом случае оценка события будет плавающей и зависящей либо только от событий текущего окна, либо ...
Ведь каким то образом получен признак

[0.12] <- это нужный объект

Но это общие фразы ...