New experiment PADLS for distributed computing

Message boards : Science : New experiment PADLS for distributed computing
Message board moderation

To post messages, you must log in.

Previous · 1 . . . 4 · 5 · 6 · 7 · 8 · 9 · 10 . . . 22 · Next

AuthorMessage
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8109 - Posted: 26 Feb 2022, 0:39:49 UTC

Хорошая новость от Mynx!
Он обработал интервалы №№ 16 - 20.
Результатов найдено много.
Спасибо!

Я предложила Mynx взять для обработки 6 интервалов из диапазона 101 - 110, за исключением 4-х интервалов, обрабатываемых мной (103, 104, 108, 110).
ID: 8109 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
walli

Send message
Joined: 24 Dec 21
Posts: 59
Credit: 0
RAC: 0
Message 8110 - Posted: 26 Feb 2022, 6:23:15 UTC

I'll take #81 - #89.
ID: 8110 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8111 - Posted: 26 Feb 2022, 6:30:49 UTC - in response to Message 8110.  

I'll take #81 - #89.

Хорошо, спасибо.
А также спасибо за интервал №70.
ID: 8111 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8112 - Posted: 26 Feb 2022, 9:51:58 UTC

Черепашка обработала интервал №108.
Найдено 19 КФ ОДЛК (сырые результаты).
Приступаем к обработке интервала №110 (10208295).
Для черепашки довольно длинный интервал.
ID: 8112 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8113 - Posted: 27 Feb 2022, 1:28:48 UTC
Last modified: 27 Feb 2022, 1:38:09 UTC

Цитата
В настоящий момент к обработке приняты следующие интервалы
Demis: 8 - 10, 23, 25, 26, 27, 29, 30;
Mynx: 16 - 20;
XAVER: 41 - 49;
walli: 62 - 69;
Natalia Makarova: 103, 104, 108, 110.

По состоянию на данный момент

Demis обрабатывает интервал №10;
Mynx обработал все интервалы 16 - 20;
XAVER обрабатывает интервал №44;
walli обработал все интервалы 62 - 69, плюс интервал 70;
Natalia Makarova обрабатывает интервал №110.

Далее приняты к обработке следующие интервалы

Mynx - №№ 101-102, 105-107, 109;
XAVER - №№ 71-80;
walli - №№ 81-89.
ID: 8113 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8114 - Posted: 27 Feb 2022, 8:45:02 UTC
Last modified: 27 Feb 2022, 8:47:13 UTC

Уточнение от Mynx.
Он сообщил, что по ошибке прихватил интервал №100.
Не беда :)

Итак, в диапазоне интервалов 0 - 110 пока свободны для обработки интервалы №№ 90 - 99.
ID: 8114 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8115 - Posted: 27 Feb 2022, 17:13:49 UTC
Last modified: 27 Feb 2022, 17:15:11 UTC

Mynx и walli уже выдали решения:
интервалы 100-101
интервалы 85, 86, 88, 89.
Отлично!

Черепашка трудится над интервалом №110.
Ещё дня три понадобится.
ID: 8115 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8116 - Posted: 28 Feb 2022, 6:30:23 UTC
Last modified: 28 Feb 2022, 6:44:39 UTC

Хорошая новость!
Обработана третья порция результатов эксперимента.
Получено 11310 КФ ОДЛК, в том числе 28 двушек.

Таким образом, имеем
первая часть БД: 12124 КФ ОДЛК в том числе 27 двушек и одна тройка;
вторая часть БД: 4994 КФ ОДЛК, в том числе 14 двушек;
третья часть БД: 11310 КФ ОДЛК, в том числе 28 двушек.

Итого: 28428 КФ ОДЛК, в том числе 69 двушек и одна тройка.

Результаты превосходные!
Эксперимент ещё и месяц не работает.

Посмотрите для сравнения на результаты проекта ОДЛК за январь т. г.
https://boinc.progger.info/odlk/forum_thread.php?id=103&postid=7905
Цитата
Обработала результаты проекта ОДЛК за январь 2022 г.

Решения по Приложениям

odlk3 - 21807 КФ ОДЛК
odlkmax - 17908 КФ ОДЛК
odlkmin - 19269 КФ ОДЛК

Всего: 58984 КФ ОДЛК.

Групп ОДЛК выше двушки не найдено.

Это примерно средняя норма выработки проекта ОДЛК за месяц.
При этом двушек находится мало, я даже перестала их в последнее время считать.
А группы пар выше двушки вообще попадаются крайне редко.

Сравните с результатами эксперимента!
У нас всего 5 участников! Да и черепашка почти не в счёт.
Эффективность алгоритма, работающего в эксперименте, налицо.
Ну, это было установлено ещё в проекте TBEG.
ID: 8116 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8117 - Posted: 28 Feb 2022, 6:48:56 UTC

Я уже начала собирать четвёртую порцию результатов.

Мы продолжаем эксперимент!
ID: 8117 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8118 - Posted: 2 Mar 2022, 5:10:35 UTC
Last modified: 4 Mar 2022, 14:59:52 UTC

Новые поступления
от Demis: №№ 10, 23, 25, 26;
от walli: №№ 82, 83, 87.

Напомню: в диапазоне интервалов 0 - 110 свободные для обработки интервалы №№ 90 - 99.

Далее имеем интервалы

№111 - 90396360
№112 - 18537838
№113 - 6462614
№114 - 41671445
№115 - 75322729
№116 - 8010364
№117 - 55835757
№118 - 47724560
№119 - 26637514
№120 - 69991278

Мы с черепашкой присмотрели для себя интервалы №№ 113, 116.
Остальные интервалы свободны.
ID: 8118 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8120 - Posted: 2 Mar 2022, 5:32:00 UTC

Обработала результаты проекта ОДЛК за февраль т. г.
Смотрите здесь
https://boinc.progger.info/odlk/forum_thread.php?id=103&postid=8119

Сравнивайте с нашим экспериментом!
ID: 8120 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
walli

Send message
Joined: 24 Dec 21
Posts: 59
Credit: 0
RAC: 0
Message 8121 - Posted: 2 Mar 2022, 19:59:12 UTC

Here are a few more numbers on different intervals:

100-110          436.429.416    (Найдено СНДЛК = Найдено КФ)
110-120          380.807.476    (Найдено СНДЛК = Найдено КФ)
120-130          424.505.154    (Найдено СНДЛК = Найдено КФ)
130-140          543.034.549    (Найдено СНДЛК = Найдено КФ)
140-150          453.718.051    (Найдено СНДЛК = Найдено КФ)
150-160          398.803.289    (Найдено СНДЛК = Найдено КФ)
160-170          341.975.132    (Найдено СНДЛК = Найдено КФ)
170-180          608.886.394    (Найдено СНДЛК = Найдено КФ)
180-190          350.622.564    (Найдено СНДЛК = Найдено КФ)
190-200          478.177.558    (Найдено СНДЛК = Найдено КФ)
1000-1010        451.222.700    (Найдено СНДЛК)
                 451.221.026    (Найдено КФ)
5000-5010        274.236.439    (Найдено СНДЛК)
                 274.236.439    (Найдено КФ)
10000-10010      342.493.609    (Найдено СНДЛК)
                 342.493.609    (Найдено КФ)
15000-15010      404.647.701    (Найдено СНДЛК)
                 404.628.022    (Найдено КФ)
20000-20010      334.928.398    (Найдено СНДЛК)
                 334.887.651    (Найдено КФ)
25000-25010      922.885.572    (Найдено СНДЛК)
                 922.885.572    (Найдено КФ)
30000-30010    2.825.809.344    (Найдено СНДЛК)
               2.825.650.069    (Найдено КФ)
35000-35010      853.877.887    (Найдено СНДЛК)
                 853.810.533    (Найдено КФ)
40000-40010    2.866.240.108    (Найдено СНДЛК)
               2.864.635.271    (Найдено КФ)

I gave up on interval #50000-#50010:

...
?????: 338391000000 ??: 207339998894 ?????: 432354 ???
?????: 338392500000 ??: 207341089919 ?????: 432356 ???
?????: 338394000000 ??: 207342034161 ?????: 432359 ???
?????: 338395500000 ??: 207343159697 ?????: 432361 ???
?????: 338397500000 ??: 207344329578 ?????: 432363 ???
?????: 338399000000 ??: 207345551578 ?????: 432366 ???
?????: 338400500000 ??: 207346709582 ?????: 432368 ???
?????: 338402000000 ??: 207347762744 ?????: 432371 ???
?????: 338403500000 ??: 207348890234 ?????: 432373 ???
?????: 338405500000 ??: 207350265919 ?????: 432375 ???
?????: 338407000000 ??: 207351347570 ?????: 432378 ???
?????: 338408500000 ??: 207352436899 ?????: 432380 ???
?????: 338410000000 ??: 207353584129 ?????: 432382 ???
?????: 338411500000 ??: 207354577136 ?????: 432385 ???
?????: 338413000000 ??: 207355593065 ?????: 432387 ???
?????: 338414500000 ??: 207356604729 ?????: 432389 ???
?????: 338416500000 ??: 207358016832 ?????: 432392 ???
?????: 338418000000 ??: 207359223644 ?????: 432394 ???
?????: 338419500000 ??: 207360267833 ?????: 432396 ???
?????: 338421000000 ??: 207361343826 ?????: 432399 ???
...
ID: 8121 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8122 - Posted: 3 Mar 2022, 0:45:27 UTC - in response to Message 8121.  
Last modified: 3 Mar 2022, 0:50:18 UTC

walli
спасибо за ваше исследование.
Цитата
40000-40010 2.866.240.108 (Найдено СНДЛК)
2.864.635.271 (Найдено КФ)

Мы видим, что до интервалов 40000-40010 нет проблем в поиске КФ СН ДЛК, то есть их можно найти за реальное время.
Хотя интервалы эти уже очень длинные и содержат огромное количество СН ДЛК и КФ СН ДЛК.
В интервалах #50000-#50010 уже появляется проблема поиска КФ СН ДЛК.
Раньше мы видели такую проблему в интервале №55444.

Я пока не знаю, как решить эту проблему.
Нужно, наверное, как-то модифицировать программу поиска КФ СН ДЛК.
Ну, мы ещё очень долго не дойдём до проблемных интервалов в текущем эксперименте.
А когда дойдём, можно изменить область поиска, то есть взять исходные квадраты из другой линейки - 38.
Для линейки 51 этот эксперимент немного выполнялся в проекте TBEG, однако полностью не выполнился.
Таким образом, линейка 51 тоже может быть использована в эксперименте.
Кстати, линейка 51 имеет самое оптимальное соотношение между КФ СН ДЛК и СН ДЛК - 1:20.
Для линеек 15 и 38 это соотношение 1:48.
Поэтому в своё время я и выбрала для эксперимента в проекте TBEG линейку 51.
ID: 8122 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8123 - Posted: 3 Mar 2022, 1:16:21 UTC
Last modified: 3 Mar 2022, 12:58:52 UTC

Пересечение различных частей БД КФ ОДЛК

Как я уже отмечала, мы имеем БД КФ ОДЛК из различных проектов: из BOINC-проектов ОДЛК, ODLK1 и TBEG, из ручного проекта.
Все эти БД не собраны в одну общую БД.
Естественно, в этих различных частях БД встречаются дубликаты КФ ОДЛК.
Когда мы с Demis занимались обработкой результатов проектов ОДЛК и ODLK1, старались делать проверку на пересечения различных частей БД.
Однако гарантии полной проверки по всей общей БД нет.

Понятно, что в нашем текущем эксперименте мы тоже ищем некоторую часть общей БД КФ ОДЛК, и неизбежны пересечения получаемых в эксперименте результатов с уже имеющейся БД КФ ОДЛК, которая содержит на данный момент более 17000000 КФ ОДЛК.
Понятно и то, что отследить эти пересечения довольно проблематично, но реально.
Надо брать все опубликованные части БД и проверять относительно них получаемые в эксперименте результаты.

Есть группы ОДЛК выше двушки, о которых я тоже уже писала.
Для таких групп ОДЛК всё проще, потому что для них я вела полную статистику по всей общей БД проектов.
Вот мы нашли, к примеру, в эксперименте, тройку, это действительно новая тройка, она не была найдена ранее.
Однушки и двушки могут повторяться. Но процент повторов небольшой.

Приведу пример.
Возьму БД КФ ОДЛК, полученную в ручном проекте. Эта БД содержит 264694 КФ ОДЛК.
Проверять на пересечение с БД эксперимента буду с помощью программы Белышева sos_operate.
Протокол работы программы

Введите порядок квадрата            :
 порядок 10
Введите имя первого файла           :
 имя файла input_1.txt
Введите имя второго файла           :
 имя файла input_2.txt
Возможные действия                  :
 [1] - пересечение
 [2] - объединение
 [3] - разность
 [4] - симметричная разность
Сделайте ваш выбор                  : 3

В первом множестве элементов        : 28428
Во втором множестве элементов       : 264694
В результирующем множестве элементов: 28410

Пересечение составляет всего 18 КФ ОДЛК.
(Можно было использовать функцию [1] - пересечение; я привыкла использовать функцию [3] - разность.)
Замечу, что в ручном проекте много велось поисков в линейке 15 (это поиск от псевдоассоциативных ДЛК), поэтому пересечение есть, оно неизбежно.

Точно так же можно проверить полученные в эксперименте результаты на пересечение со всеми остальными частями БД, которые уже опубликованы.

PS. Протокол работы программы, если выбрана функция [1] - пересечение

Введите порядок квадрата            :
 порядок 10
Введите имя первого файла           :
 имя файла input_1.txt
Введите имя второго файла           :
 имя файла input_2.txt
Возможные действия                  :
 [1] - пересечение
 [2] - объединение
 [3] - разность
 [4] - симметричная разность
Сделайте ваш выбор                  : 1

В первом множестве элементов        : 28428
Во втором множестве элементов       : 264694
В результирующем множестве элементов: 18
ID: 8123 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8124 - Posted: 3 Mar 2022, 2:02:03 UTC
Last modified: 3 Mar 2022, 2:05:34 UTC

Хорошая новость от XAVER!
Он обработал интервалы 44 - 46.
В интервале №45 найдено много результатов.
Спасибо!

Четвёртая порция результатов собирается.
Жду результаты от Mynx.
ID: 8124 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8125 - Posted: 3 Mar 2022, 6:02:35 UTC
Last modified: 3 Mar 2022, 6:18:02 UTC

Мы с черепашкой посчитали мощности следующих интервалов

№121 - 125531721 КФ СН ДЛК
№122 - 20740189
№123 - 37435395
№124 - 5593450
№125 - 47367684
№126 - 30993920
№127 - 51078273
№128 - 20755033
№129 - 15018211
№130 - 51723529

Берём из этого диапазона в обработку интервал №124.
Остальные интервалы свободны.
ID: 8125 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8126 - Posted: 3 Mar 2022, 6:17:07 UTC
Last modified: 3 Mar 2022, 6:27:21 UTC

Уф!
Черепашка обработала интервал №110.
Найдено 84 КФ ОДЛК в этом интервале (сырые результаты).

Т-э-к-с, теперь у нас с черепашкой на очереди интервалы
№113 (6462614),
№116 (8010364),
№124 (5593450).

Начинаем с интервала №113.
Мы не торопимся :)
Тише едешь - дальше будешь. (пословица)

Тут ковид ко мне пристал немножко :)
Ну, черепашке-то ничего, она ему большую фигу показала :) он от неё откусить затрудняется :)
В общем, черепашка работает несмотря ни на какие ковиды, пока я в состоянии её включить.
ID: 8126 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
walli

Send message
Joined: 24 Dec 21
Posts: 59
Credit: 0
RAC: 0
Message 8127 - Posted: 3 Mar 2022, 17:40:31 UTC

#45000-#45010 is also already too complicated:

walli@tick:~/src/moschnometr_kf_incl_source$ ./get_interval.sh 45000 45010 && ./kanonizer_kf
...
?????: 56335500000 ??: 35162109224 ?????: 77904 ???
?????: 56337000000 ??: 35163523952 ?????: 77907 ???
?????: 56338500000 ??: 35164939251 ?????: 77909 ???
?????: 56340500000 ??: 35166836146 ?????: 77911 ???
?????: 56342500000 ??: 35168710619 ?????: 77914 ???
?????: 56344500000 ??: 35170611414 ?????: 77916 ???
?????: 56346500000 ??: 35172474674 ?????: 77919 ???
?????: 56348500000 ??: 35174332774 ?????: 77921 ???
?????: 56350500000 ??: 35176171854 ?????: 77923 ???
?????: 56352000000 ??: 35177557560 ?????: 77925 ???
...
ID: 8127 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8128 - Posted: 4 Mar 2022, 3:48:38 UTC - in response to Message 8127.  
Last modified: 4 Mar 2022, 3:50:13 UTC

Да, этот тоже трудные интервалы.

Можете ли вы модифицировать программу Мощнометр (moschnometr_kf) так, чтобы:
мы задаём стартовый квадрат (начало интервала) и количество проверяемых СН ДЛК, например, 10,000,000,000.
Программа проверяет заданное количество СН ДЛК и сохраняет:
а) найденные КФ СН ДЛК;
б) последний проверенный СН ДЛК.
???

Это и будет поиск КФ СН ДЛК по частям.
ID: 8128 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 14136
Credit: 0
RAC: 0
Message 8137 - Posted: 5 Mar 2022, 2:57:48 UTC

Отличная новость: от walli поступили результаты из интервала №84.
Много результатов найдено в этом интервале - 636 КФ ОДЛК (сырые результаты).
Спасибо!
walli завершает свой текущий диапазон интервалов: 81 - 89, остался интервал №81.
ID: 8137 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Previous · 1 . . . 4 · 5 · 6 · 7 · 8 · 9 · 10 . . . 22 · Next

Message boards : Science : New experiment PADLS for distributed computing


©2024 (C) Progger