Обработка результатов

Message boards : Science : Обработка результатов
Message board moderation

To post messages, you must log in.

1 · 2 · 3 · 4 . . . 5 · Next

AuthorMessage
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3022 - Posted: 2 Feb 2019, 0:51:06 UTC
Last modified: 2 Feb 2019, 0:54:02 UTC

Читайте тему
https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54

И цитирую из другой темы
Результаты в проектах ODLK и ODLK1 по-прежнему не обрабатываются.
Администраторам проектов некогда или просто лень.
Моими усилиями (с помощью участников автономного подпроекта XAVER и Tomas Brada) результаты обоих проектов обработаны по 1 января 2019 г.
Все обработанные результаты опубликованы.

Администратор проекта ODLK1 ice00 предпочитает выкладывать необработанные результаты, так как это занимает у него всего 1 минуту.

Providing raw not processed result is temporary a workaround that with the script already done it takes only 1 minute.

https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=713#713

За январь с. г. пока не вижу и необработанных результатов. Сама скопировала ручками за весь месяц посуточно.

Администраторы проекта очень заняты, а учёный проекта на пенсии; вот и пусть она делает техническую работу по обработке результатов, потому что у неё много времени и ей больше делать нечего.

Так я скажу администраторам: у меня очень много работы, и я не буду вручную обрабатывать результаты с двух BOINC-проектов.
К тому же, не могу выполнить это на моём ПК даже и технически при существующей на данный момент БД.
Я вообще предложила обоим администраторам проекты остановить, если у них нет времени ими заниматься.

https://boinc.progger.info/odlk/forum_thread.php?id=42&postid=3021#3021
ID: 3022 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3023 - Posted: 2 Feb 2019, 1:04:48 UTC
Last modified: 2 Feb 2019, 1:21:41 UTC

Вот моё предложение администратору BOINC-проекта ODLK1 ice00

ice00
you have no time to

1. Make automatic processing of the results of the project ODLK1;
2. Run a new Application in the project ODLK1;
3. Read the forum and reply to messages.

Are you an administrator?
Do you have time to press the “Stop” button?!

https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=57&postid=728#728

Кому-то интересен проект, в котором не обрабатываются результаты, не запускаются новые эксперименты, нет обсуждений и дискуссий???
Мне такой проект абсолютно не интересен.
Как учёный проекта я занимаюсь разработкой новых алгоритмов. А что толку, если эти алгоритмы негде опробовать?!
То, что я делаю на своём ПК, - это мизер, тысячная доля того, что можно было бы сделать в BOINC-проекте.
ID: 3023 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3024 - Posted: 2 Feb 2019, 1:16:00 UTC
Last modified: 4 Feb 2019, 4:54:49 UTC

Бегло проверила результаты обоих проектов за январь с. г. (только первичная обработка).
Тысячи машин, около 400000 КФ ОДЛК найдено за месяц в обоих проектах и... всего две уникальные тройки! Остальные однушки и двушки.

Молотим? Молотим!
Главное, что мука есть. Качество никого не интересует.
ID: 3024 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3029 - Posted: 2 Feb 2019, 14:44:35 UTC
Last modified: 2 Feb 2019, 14:52:36 UTC

Необработанные результаты проекта ODLK1 за январь с. г. ice00 выложил
https://drive.google.com/drive/folders/1wIf97_bLDvnb1WalOsjU9vODZqRZ_WNw

Эта временная мера, предложенная мной, настолько понравилась ice00, что, я думаю, она теперь будет постоянной :)
Вот уже за 5 месяцев выложены необработанные результаты.
Как я написала выше, результаты за сентябрь - декабрь 2018 г. обработаны.

Итак, раз - сырые результаты (январь)... :)
1 марта скажем: два - сырые результаты (февраль).
И т. д. до конца проекта.

А между прочим, Tomas Brada сделал всё необходимое ПО для автоматической обработки результатов в Linux по моей просьбе.
Даже взять готовое ПО и прикрутить его к проекту ice00 не может.
Можно даже и не прикручивать к BOINC-проекту, а запустить на старом сервере (который у него свободен) отдельно от BOINC, раз в месяц. Это ещё проще.

Администраторам обоих проектов совершенно не интересно, что в проектах насчитано: какие там однушки-двушки, какие там группы пар ОДЛК, сколько не уникальных решений.
На сколько процентов обработаны линейки? Может быть, пора подключить новые линейки.

Я уж молчу про новые эксперименты.
ID: 3029 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3030 - Posted: 2 Feb 2019, 15:19:28 UTC
Last modified: 2 Feb 2019, 15:36:00 UTC

Результаты с проекта ODLK за январь c. г. я обработала скриптом Белышева zamyk.bat.
Для результатов ODLK это несложно, потому что их мало.
Однако это не полная обработка, потому что нет проверки на уникальность относительно всей существующей на данный момент БД, а также включения новых результатов в БД.

Замыкание по Приложениям в проекте:

1. Приложение odlk3
32622 КФ ОДЛК, в том числе 70 двушек;
2. Приложение odlkmax
24131 КФ ОДЛК, в том числе одна уникальная тройка и 39 двушек;
3. Приложение odlkmin
31651 КФ ОДЛК, в том числе одна не уникальная тройка и 55 двушек.
ID: 3030 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3036 - Posted: 4 Feb 2019, 4:22:09 UTC
Last modified: 4 Feb 2019, 4:27:11 UTC

Результаты проекта ODLK1 за январь с. г. обработал доброволец tomas (предполагаю, что это Tomas Brada)
https://boinc.progger.info/odlk/forum_thread.php?id=102&postid=3034#3034

Ну, tomas теперь держатель нашей тотальной БД.
Если что, обращайтесь к нему :)
У меня нет всей БД с обоих проектов в одном файле, только отдельными частями, да и это по 1 января 2019 г.

PS. Администраторы проекта ODLK1 (их два!) не в состоянии сделать то, что сделал tomas.
Вам смешно? Мне смешно!
ID: 3036 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3037 - Posted: 4 Feb 2019, 4:35:24 UTC
Last modified: 4 Feb 2019, 4:42:31 UTC

Цитирую сообщение tomas (ссылка выше)

Processing ODLK1_RESULT/unprocessed_result.2019.01.zip

0 local duplicates in file
4522 raw squares already in database (duplicate)
182984 new squares from raw file
0 non-odls in raw file
7 fancy cf dls of link length 4
373292 cf odls
4 cf odls already in database (duplicate)
373288 new cf odls
6088213 cf odlk total in database
369898 co-squares

New CF ODLS:
count[1]: 372573
count[2]: 714
count[3]: 1

Не поняла, что означает: "7 fancy cf dls of link length 4".
Может быть, ошибочные квадраты?
Я не копировала выложенные ice00 результаты, а скопировала их прямо с проекта сама. У меня не было квадратов с ошибками.

Напомню: необработанные результаты проекта ODLK1 ice00 выкладывает здесь
https://drive.google.com/drive/folders/1wIf97_bLDvnb1WalOsjU9vODZqRZ_WNw
ID: 3037 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3038 - Posted: 4 Feb 2019, 4:46:55 UTC
Last modified: 4 Feb 2019, 4:50:05 UTC

Итак, по результатам с проекта ODLK1 за январь c. г. (по данным tomas) наша БД содержит:
6088213 cf odlk total in database

Добавьте сюда результаты проекта ODLK за январь с. г.
https://boinc.progger.info/odlk/forum_thread.php?id=103&postid=3030#3030
Но! эти результаты не проверены на уникальность.
ID: 3038 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Tomas Brada

Send message
Joined: 14 Jan 19
Posts: 119
Credit: 574
RAC: 0
Message 3040 - Posted: 4 Feb 2019, 8:26:10 UTC

Yes, tomas was me. It is my username on my computer and is default on boinc projects until I change it, which I did now.
I did not post any files, because they are not verified. The numbers are just what came out of program, which might contain errors. I will upload the unique and database files when I think they are correct.

To database: I used files from this message: https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=664. Should the database be split per project or can it be all in one. Having it all in one is practical. Also if there are results from other projects that are not in the linked message, i did not add them to the database and therefore did not check for uniqueness. Say if any should be added.

Не поняла, что означает: "7 fancy cf dls of link length 4". Может быть, ошибочные квадраты?

It means it took 7 iterations of post-processing were needed and in the last iteration, 7 cf odls were found. It is not an error, it is just a by-product of the program. I do not know what is the correct translation of марьяжных.

Я не копировала выложенные ice00 результаты, а скопировала их прямо с проекта сама. У меня не было квадратов с ошибками. Напомню: необработанные результаты проекта ODLK1 ice00 выкладывает здесь
https://drive.google.com/drive/folders/1wIf97_bLDvnb1WalOsjU9vODZqRZ_WNw

For january I used only ODLK1 results from this google drive folder.
ID: 3040 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3042 - Posted: 4 Feb 2019, 9:22:48 UTC - in response to Message 3040.  
Last modified: 4 Feb 2019, 9:30:12 UTC

Tomas Brada
I thank you for your work.

But I think that the project administrators should create the database and publish it officially.

If the ODLK and ODLK1 project administrators officially give you the right to create and publish a database, I do not mind.

The database should be common for ODLK and ODLK1 projects.

Let me remind you that the results of the ODLK project are open to all
https://boinc.progger.info/odlk_results/odlk3/
https://boinc.progger.info/odlk_results/odlkmax/
https://boinc.progger.info/odlk_results/odlkmin/
ID: 3042 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3043 - Posted: 4 Feb 2019, 9:35:51 UTC - in response to Message 3040.  
Last modified: 4 Feb 2019, 10:02:11 UTC


It means it took 7 iterations of post-processing were needed and in the last iteration, 7 cf odls were found. It is not an error, it is just a by-product of the program.

Can you show me these 7 squares?

I do not know what is the correct translation of марьяжных.

Марьяжный DLS is a DLS that has orthogonal DLS or DLSs.

The term by Belyshev.
ID: 3043 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3189 - Posted: 2 Mar 2019, 6:27:20 UTC
Last modified: 3 Mar 2019, 5:15:19 UTC

Обработала скриптом Белышева zamyk.bat результаты проекта ODLK за февраль т. г.
Результаты получены следующие:

1. Приложение odlk3
найдено 24726 КФ ОДЛК, в том числе 58 двушек и одна тройка.

2. Приложение odlkmin
найдено 25039 КФ ОДЛК, в том числе 65 двушек.

2. Приложение odlkmax
найдено 16927 КФ ОДЛК, в том числе 29 двушек.

Всего найдено: 66692 КФ ОДЛК.

На уникальность результаты проверены только в рамках проекта ODLK.

Внимание, Progger!

В Приложении odlkmax что-то не так.
Найдено сырых результатов - 16860 КФ (то, что скопировано с проекта), из них ровно половина повторены (точь-в-точь).

Это проверка порции ДЛК программой Белышева kanonizator_dlk_1.03
Канонизатор ДЛК10

Загружена хеш-таблица
Время загрузки:         0.015 сек
Введено ДЛК:            16860
Время загрузки:         0.187 сек
Найдено КФ:             8430
Время поиска:           0.016 сек
КФ записаны в файл:     output.txt

Необходимо проверить, почему так получилось.
Может быть, группу ДЛК для поиска максимальных решений надо уже изменить (?)
ID: 3189 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3192 - Posted: 2 Mar 2019, 8:57:20 UTC
Last modified: 2 Mar 2019, 9:00:14 UTC

Просмотрела выложенные ice00 не обработанные результаты с проекта ODLK1 за февраль т. г.
https://drive.google.com/drive/folders/1wIf97_bLDvnb1WalOsjU9vODZqRZ_WNw

Выполняю только первичную обработку.
Результаты удручающие: не найдено ни одной группы из более чем двух пар ОДЛК.
Возможно, полное Замыкание результатов что-то изменит, но вряд ли.

Может быть, лет этак через 5-6 ice00 всё-таки сделает автоматическую обработку результатов в проекте, если до него дойдёт важность данной процедуры для проекта.
Будем надеяться.

Пока довольствуемся сырыми (не обработанными) результатами.
Всем желающим предоставлена возможность самостоятельно обработать сырые результаты.
Я рассказывала подробно, как это делается.
ID: 3192 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3316 - Posted: 1 Apr 2019, 7:01:16 UTC
Last modified: 1 Apr 2019, 11:16:11 UTC

Скачала результаты проекта ODLK за март т. г.
Просматриваю с помощью скрипта Белышева zamyk.bat.

1. odlkmin (исх. 9074 КФ ОДЛК)

Найдено марьяжных КФ:
count[1] = 18182
count[2] = 44
Всего: 18226
Найдено соквадратов: 18270
КФ соквадратов: 18226

2. odlkmax (исх. 4711 КФ ОДЛК)

Найдено марьяжных КФ:
count[1] = 9436
count[2] = 19
Всего: 9455
Найдено соквадратов: 9474
КФ соквадратов: 9455

Пока только однушки и двушки.
Осталось проверить результаты Приложения odlk3.

PS. Переставила местами Приложения ошибочно, исправила.
ID: 3316 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3318 - Posted: 1 Apr 2019, 11:19:26 UTC

3. odlk3 (исх. 8823 КФ ОДЛК)

Найдено марьяжных КФ:
count[1] = 17706
count[2] = 45
Всего: 17751
Найдено соквадратов: 17796
КФ соквадратов: 17751

Итак, не найдено ни одной группы пар ОДЛК выше двушки.

На уникальность решения не проверены.
ID: 3318 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3322 - Posted: 2 Apr 2019, 6:18:49 UTC
Last modified: 2 Apr 2019, 6:19:39 UTC

Скачала выложенные ice00 необработанные результаты проекта ODLK1 за март т. г. (ссылка прежняя).
Просмотрела только при первичной обработке. Нашла одну уникальную четвёрку

0 1 2 3 4 5 6 7 8 9
1 2 0 4 7 9 8 5 3 6
4 5 3 0 9 7 1 6 2 8
3 7 9 6 5 8 0 1 4 2
2 6 4 7 8 1 5 3 9 0
6 3 8 1 2 4 9 0 5 7
5 9 6 8 3 2 7 4 0 1
8 0 5 2 1 6 3 9 7 4
9 4 7 5 6 0 2 8 1 3
7 8 1 9 0 3 4 2 6 5

Четвёрка найдена в Приложении odlkmax.
Может быть, обработка скриптом Белышева zamyk.bat даст ещё группы пар ОДЛК выше двушки.
Каждый желающий может это проверить.
ID: 3322 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3480 - Posted: 1 May 2019, 8:01:37 UTC
Last modified: 1 May 2019, 8:05:00 UTC

Обработала результаты с проекта ODLK за апрель т. г. с помощью скрипта Белышева zamyk.bat.

odlk3
13282 КФ ОДЛК, Замыкание
Найдено марьяжных КФ:
count[1] = 26610
count[2] = 54
Всего: 26664
Найдено соквадратов: 26718
КФ соквадратов: 26664

в том числе уникальных 26652 КФ ОДЛК.

odlkmin
14486 КФ ОДЛК, Замыкание
Найдено марьяжных КФ:
count[1] = 29058
count[2] = 57
Всего: 29115
Найдено соквадратов: 29172
КФ соквадратов: 29115

в том числе уникальных 29101 КФ ОДЛК.

odlkmax
11397 КФ ОДЛК, Замыкание
Найдено марьяжных КФ:
count[1] = 22820
count[2] = 38
Всего: 22858
Найдено соквадратов: 22896
КФ соквадратов: 22858

в том числе уникальных 22847 КФ ОДЛК.

Неплохие результаты, но, к сожалению, нет ни одной группы пар ОДЛК выше двушки.

Примечание: уникальность решений проверена только относительно БД BOINC-проекта ODLK по состоянию на 1 января 2019 г.
ID: 3480 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3481 - Posted: 1 May 2019, 8:09:49 UTC
Last modified: 1 May 2019, 8:47:47 UTC

О скрипте Белышева zamyk.bat.
Скрипт написан так хитро, что ice00, по-моему, до сих пор его не адаптировал для Linux.
По крайней мере, он пока не выложил ни одной порции обработанных этим скриптом результатов. Всё только собирается :)

В Windows скрипт работает замечательно. Никаких проблем!

Проблемы с этим скриптом были и у Demis, но вроде он справился.
ID: 3481 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3482 - Posted: 1 May 2019, 8:36:08 UTC
Last modified: 1 May 2019, 15:08:12 UTC

Зато ice00 выложил красивую диаграмму не обработанных результатов за всё время действия проекта ODLK1


Смотрите сообщение
https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=746#746
Это он проверил все не обработанные результаты на уникальность.

Обращаю внимание Progger на то, что не уникальных результатов очень много.
См. моё сообщение
https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=748#748
Это неполадки какие-то (подозреваю, что в Приложении odlkmax).

Аналогичный случай был недавно в проекте ODLK, в Приложении odlkmax: половина всех найденных результатов повторилась.
Но сейчас в проекте ODLK всё нормально.

Алгоритм Белышева, действующий в проектах ODLK и ODLK1, не должен давать очень много не уникальных (сырых) результатов, если в нём всё правильно работает.
[В идеале он их вообще не должен давать.]
В алгоритме генерируются и проверяются КФ СН ДЛК в лексикографическом порядке, все они различны.
Тысячи не уникальных результатов (среди не обработанных) - это непорядок.
Я написала об этом в своём сообщении (по указанной ссылке), но ice00, скорее всего, меня не понял.
ID: 3482 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13063
Credit: 0
RAC: 0
Message 3487 - Posted: 2 May 2019, 5:18:15 UTC
Last modified: 2 May 2019, 5:22:00 UTC

ice00 выложил, как всегда, не обработанные результаты за апрель т. г. (ссылка прежняя).
Просмотрела результаты бегло (только первичная обработка), групп пар выше двушки не обнаружила.

Печально! Ни ODLK, ни ODLK1 не дали в апреле ни одной группы пар ОДЛК выше двушки.
А в ручном проекте такие пары ОДЛК есть в этом месяце.
Сравните: в ручном проекте считают трое, а в двух BOINC-проектах сколько людей считают!
Ну что же, будем набирать в BOINC-проектах однушки и двушки - тоже хлеб.
Да хоть бы уж все уникальные набирали однушки и двушки.
Как показывают выложенные ice00 не обработанные результаты (проверенные на уникальность), в проекте ODLK1 идут тысячи не уникальных результатов (именно сырых, не обработанных).
Откуда они берутся? Разобраться некому.
ID: 3487 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
1 · 2 · 3 · 4 . . . 5 · Next

Message boards : Science : Обработка результатов


©2024 (C) Progger