Message boards :
Science :
Обработка результатов
Message board moderation
Previous · 1 · 2 · 3 · 4 · 5 · Next
Author | Message |
---|---|
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Сейчас займусь проверкой сырых (не обработанных) результатов за январь - апрель т. г. проекта ODLK1 на уникальность (внутри этой группы результатов; всей БД сырых результатов с проекта у меня нет) Сначала не обработанные результаты по файлам, выложенным ice00 здесь https://drive.google.com/drive/folders/1wIf97_bLDvnb1WalOsjU9vODZqRZ_WNw For January odlk3 – 148199 CF ODLK odlkmax – 39307 CF ODLK Total: 187506 CF ODLK. For February odlk3 – 140372 CF ODLK odlkmax – 36938 CF ODLK Total: 177310 CF ODLK. For March odlk3 – 145843 CF ODLK odlkmax – 33344 CF ODLK Total: 179187 CF ODLK. For April odlk3 – 148240 CF ODLK odlkmax – 21578 CF ODLK Total: 169818 CF ODLK. Простое сложение результатов даёт: odlk3 - 582654 КФ ОДЛК odlkmax - 131167 КФ ОДЛК Теперь выполню объединение результатов с помощью программы Белышева sos_operate. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
После объединения получила odlk3 - 582652 КФ ОДЛК odlkmax - 131167 КФ ОДЛК Слава Богу, в рамках этого года (за 4 месяца) всё нормально, всего 2 повторенные КФ. Не знаю, на каком этапе вылезли тысячи не уникальных (не обработанных) результатов, которые показал ice00. Ещё не факт, что он банально не ошибся. По-хорошему это надо перепроверить. Анализ уникальности не обработанных результатов, конечно, нужен. Однако... пора бы уже ice00 заняться обработкой результатов. Проекту ODLK1 1,5 года. До сих пор автоматическая обработка результатов в проекте отсутствует. PS. Замечу, что для скрипта Белышева zamyk.bat предварительный анализ уникальности сырых результатов не требуется, скрипт сам во всём разберётся. И ещё раз замечу, что алгоритм Белышева, действующий в BOINC-проектах ODLK и ODLK1, исключает появление не уникальных сырых результатов. Если таковые появляются (да ещё тысячами), значит, в программе Приложения есть ошибка. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
По поводу объединения результатов: я забыла сделать объединение результатов с обоих Приложений. Вот сейчас сделала (протокол работы программы Белышева sos_operate) Введите порядок квадрата : порядок 10 Введите имя первого файла : имя файла input_1.txt Введите имя второго файла : имя файла input_2.txt Возможные действия : [1] - пересечение [2] - объединение [3] - разность [4] - симметричная разность Сделайте ваш выбор : 2 В первом множестве элементов : 582652 Во втором множестве элементов : 131167 В результирующем множестве элементов: 713818 Ничего страшного не случилось: среди результатов двух Приложений только одна повторенная КФ. Итак, за 4 месяца т. г. в проекте ODLK1 найдено 713818 КФ ОДЛК (это сырые результаты!). По моей проверке все эти КФ уникальные (в рамках 4-х месяцев). Теперь бы обработать эти результаты как положено (скриптом zamyk.bat), да ещё бы проверить на уникальность относительно общей БД КФ ОДЛК по состоянию на 1 января т. г. Но... некому :( Чёрт знает что! Один администратор (Progger) вообще ушёл в молчанку. Второй администратор (ice00) что-то отвечает, но непонимание между нами полное! Вот относительно чего он проверял уникальность сырых результатов??? Может, он проверял относительно общей БД обработанных результатов??? ХЗ. Я ничего не понимаю. Откуда тысячи не уникальных сырых результатов?! Я ему говорю: обработайте результаты за январь - апрель т. г. скриптом zamyk.bat и объедините их с имеющейся уже общей БД КФ ОДЛК по состоянию на 1 января т. г., выбросив дубликаты. Нет! Не понимает. А может, понимает, но просто не идёт у него обработка скриптом zamyk.bat, вот он и тянет бодягу. Я уже устала объяснять, бросила. Пусть делает, что хочет, или ничего не делает. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Цитата Вот относительно чего он проверял уникальность сырых результатов??? Ну да, так и есть! Вот гляньте, здесь объединение результатов за январь - апрель т. г. с первыми тремя частями общей БД (1500000 КФ ОДЛК). Введите порядок квадрата : порядок 10 Введите имя первого файла : имя файла input_1.txt Введите имя второго файла : имя файла input_2.txt Возможные действия : [1] - пересечение [2] - объединение [3] - разность [4] - симметричная разность Сделайте ваш выбор : 2 В первом множестве элементов : 713818 Во втором множестве элементов : 1500000 В результирующем множестве элементов: 2199354 Вот и появились тысячи не уникальных результатов. Ну, это хорошо понятно: сравниваем тут с обработанными результатами. Ну и нафиг это надо??? Да, чуть поменьше будет сырых уникальных результатов в каждом месяце, поменьше обрабатывать скриптом zamyk.bat. Но, как уже сказано выше, для скрипта zamyk.bat предварительная проверка сырых результатов на уникальность не обязательна. Просто лишняя процедура. Как известно, любая лишняя процедура чревата дополнительными ошибками. Лучше избегать лишних процедур. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Посмотрим ещё раз на то, как Tomas Brada обработал результаты за январь т. г. с проекта ODLK1 Processing ODLK1_RESULT/unprocessed_result.2019.01.zip Похоже, Tomas сразу проверяет сырые результаты на уникальность относительно общей БД, 4522 raw squares already in database (duplicate) Ну, хорошо, пусть; это, естественно, отсекает лишние квадраты от массива для обработки. После обработки получено 373292 cf odls из них 4 cf olls не уникальны. В итоге: 373288 new cf odls Общая БД КФ ОДЛК после обработки результатов за январь 6088213 cf odlk total in database Всё прозрачно и понятно. Смотрите сообщение Tomas Brada https://boinc.progger.info/odlk/forum_thread.php?id=102&postid=3034#3034 |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
И ещё: в январе т. г. в проекте ODLK1 найдено (по файлу не обработанных результатов, выложенному ice00) 187506 КФ ОДЛК. 4522 КФ ОДЛК не уникальны по проверке Tomas Brada. Осталось 187506 - 4522 = 182984 уникальных КФ ОДЛК. Всё чётко. Теперь надо ПРОДОЛЖАТЬ! Не надо начинать всё с самого начала. Берём результаты за февраль т. г. и обрабатываем, как это сделал Tomas Brada с результатами за январь. Только для этого нужна общая БД КФ ОДЛК, содержащая 6088213 cf odlk. Эта БД, как я понимаю, есть только у Tomas Brada. Увидим ли мы когда-нибудь полную БД обработанных результатов с обоих BOINC-проектов - ODLK и ODLK1? Я очень сильно в этом сомневаюсь. PS. Общая БД с двух BOINC-проектов должна уже содержать более 7 миллионов уникальных КФ ОДЛК (по состоянию на 1 мая 2019 г.) |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
ice00 выложил ещё одну диаграмму не обработанных результатов отсюда https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=756#756 Хоть поставь, хоть положи :) не обработанные результаты останутся не обработанными. Обработанные результаты мы, наверное, так и не увидим. Я давно отчаялась их увидеть. PS. Напомню: все не обработанные результаты проекта ODLK1, начиная с сентября 2018 г. по апрель т. г. включительно, выложены ice00 здесь https://drive.google.com/drive/folders/1wIf97_bLDvnb1WalOsjU9vODZqRZ_WNw До сентября 2018 г. я обрабатывала результаты вручную (даже и скрипта Белышева zamyk.bat не было тогда у меня); обработанные результаты тоже выложены. Смотрите темы https://boinc.progger.info/odlk/forum_thread.php?id=67 https://boinc.progger.info/odlk/forum_thread.php?id=86 https://boinc.progger.info/odlk/forum_thread.php?id=102 Интересно бы всё-таки посмотреть на БД обработанных результатов BOINC-проекта ODLK1. А также на общую БД обработанных результатов BOINC-проектов ODLK и ODLK1. Похоже, администраторам проектов это нисколько не интересно. И поэтому общей БД КФ ОДЛК проектов до сих пор нет. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Скопировала результаты с BOINC-проекта ODLK за май т. г. Сейчас запущу на обработку скриптом Белышева zamyk.bat Может, троечка или четвёрочка появились :) |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Результаты обработки решений с проекта ODLK за май т. г. odlk3 (сырые результаты - 4480 КФ ОДЛК) Найдено марьяжных КФ: count[1] = 8986 count[2] = 18 Всего: 9004 Найдено соквадратов: 9022 КФ соквадратов: 9004 odlkmax (сырые результаты - 3880 КФ ОДЛК) Найдено марьяжных КФ: count[1] = 7764 count[2] = 13 Всего: 7777 Найдено соквадратов: 7790 КФ соквадратов: 7777 odlkmin (сырые результаты - 4052 КФ ОДЛК) Найдено марьяжных КФ: count[1] = 8142 count[2] = 10 Всего: 8152 Найдено соквадратов: 8162 КФ соквадратов: 8152 Всего: 24933 КФ ОДЛК. Увы! Ни одной группы пар ОДЛК выше двушки нет. Уникальность проверила только в рамках проекта ODLK и своего автономного подпроекта, уникальных 24921 КФ ОДЛК. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Цитата Необработанные результаты проекта ODLK1 за январь с. г. ice00 выложил Уже июнь на дворе. Как там у ice00 с обработкой результатов? Обработанных результатов я пока не видела. Вот задача так задача! Почти год решаем и никак решить не можем. Ну хорошо, не работает скрипт Белышева zamyk.bat в Линуксе. Но ведь он замечательно работает в Windows! На сервере у ice00 работают Приложения в Windows (в проекте ODLK1). Нельзя ли сделать и Приложение для автоматической обработки результатов? В Windows же! |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Здесь https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=760#760 сообщается From tomorrow, the processing script will start to process all data (simulation seems to go fine) О! Кажется, что-то получилось :) Ждём-с... PS. Результаты в обоих проектах (ODLK, ODLK1) в мае т. г. резко снизились. Продублирую диаграмму по сырым результатам проекта ODLK1, выложенную ice00 по указанной выше ссылке |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Просмотрела бегло сырые результаты с проекта ODLK1 за май т. г., выложенные ice00 (только первичная обработка). Нашлась одна уникальная троечка 0 5 8 2 6 9 7 4 3 1 8 1 4 7 5 2 9 6 0 3 4 0 2 6 9 7 5 3 1 8 9 6 0 3 2 8 4 1 7 5 3 9 1 5 4 6 8 0 2 7 7 2 3 1 8 5 0 9 6 4 5 8 7 9 3 1 6 2 4 0 6 4 5 8 1 0 3 7 9 2 1 7 9 4 0 3 2 5 8 6 2 3 6 0 7 4 1 8 5 9 Это 96-ая тройка в нашей БД. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Цитата В связи со статистикой в BOINC-проекте Tomas Brada заглянула на boincstats.com и заодно посмотрела статистику проекта ODLK Итак, начала обработку результатов с проекта ODLK за июнь т. г. 1. odlk3 (сырые результаты 17558 КФ ОДЛК) Замыкание Найдено марьяжных КФ: count[1] = 35198 count[2] = 61 Всего: 35259 Найдено соквадратов: 35320 КФ соквадратов: 35259 Да, результаты много лучше, чем в мае, но групп пар ОДЛК выше двушки здесь не найдено. 2. odlkmax (сырые результаты 13215 КФ ОДЛК) Замыкание Найдено марьяжных КФ: count[1] = 26472 count[2] = 49 Всего: 26521 Найдено соквадратов: 26570 КФ соквадратов: 26521 Здесь тоже нет групп пар ОДЛК выше двушки. 3. odlkmin (сырые результаты 16024 КФ ОДЛК) Замыкание Найдено марьяжных КФ: count[1] = 32138 count[2] = 62 Всего: 32200 Найдено соквадратов: 32262 КФ соквадратов: 32200 И здесь нет групп пар ОДЛК выше двушки. Всего найдено 93980 КФ ОДЛК, в том числе 172 двушки. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Проверка уникальности найденных решений выполнена в рамках проекта ODLK по состоянию на 1 января 2019 г. Имеем 93948 уникальных КФ ОДЛК в этих рамках. Радует, что нет пересечений с БД ручного проекта Имя входного файла ИСТОЧНИК (без расширения):input Имя входного файла ВЫЧИТАЕМОЕ (без расширения):output input.txt Всего 103334 квадратов (вход) в input.txt output.txt Всего 93948 квадратов (вход) в output.txt Уникальных 103334 квадратов (выход). В БД ручного проекта на данный момент содержится 103334 КФ ОДЛК. Как видим из протокола программы В. Чиркова, пересечений с найденными в проекте ODLK в июне т. г. решениями нет. Автономный подпроект работает в своих оригинальных направлениях! Ну, а что мы имеем в нашей общей БД, пока покрыто мраком неизвестности. ice00 вроде бы занимается БД проекта ODLK1, но готовой БД пока так и нет. БД проекта ODLK похоже никто не занимается. БД автономного подпроекта ведётся мной и активно пополняется. Ещё есть добавленные решения, найденные в BOINC-проекте Tomas Brada. И в настоящий момент эта часть БД тоже активно пополняется, проект работает. Объединение всех частей БД даст на сегодня, я думаю, 8-9 миллионов уникальных КФ ОДЛК. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
У ice00, кажется, большое продвижение с обработкой результатов проекта ODLK1. Он сообщил With 60% of result verification done, just a statistic on result of ODLK1 up to 06/2019: https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=793#793 Интересно выглядит в переводе Google :) С 60% проверки результатов, просто статистика по результату ODLK1 до 06/2019: Не совсем понятно: представляет ли указанная статистика только 60%, или это уже полная статистика. Что означают два числа "Ортогона" и "Мариаж", тоже можно только догадываться. Я предполагаю, что "Мариаж" - это то, что имеется в проекте, то есть сырые результаты, а "Ортогона" - это уже обработанные результаты. В любом случае, число 14.307.219 впечатляет. Не многовато ли ice00 насчитал? По моим прикидкам БД проекта ODLK1 где-то в районе 10 миллионов уникальных КФ ОДЛК. Ну, разумеется, это только прикидки, могу ошибаться. А проект ODLK выдал примерно миллион. У меня есть только часть БД этого проекта за май - декабрь 2018 г., которая составляет 385041 КФ ОДЛК. Ждём полную БД проекта ODLK1. PS. С моей лёгкой руки термин Белышева "марьяжные ДЛК" пошёл гулять по миру :) |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Скопировала результаты с проекта ODLK за июль т. г. По количеству сырых результатов чуть меньше, чем в июне, в июне наблюдался пик. Запустила в обработку скриптом Белышева zamyk.bat. 1. odlk3 - 14600 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 29290 count[2] = 64 Всего: 29354 Найдено соквадратов: 29418 КФ соквадратов: 29354 2. odlkmax - 10879 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 21814 count[2] = 35 Всего: 21849 Найдено соквадратов: 21884 КФ соквадратов: 21849 2. odlkmin - 14731 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 29550 count[2] = 61 Всего: 29611 Найдено соквадратов: 29672 КФ соквадратов: 29611 Увы, групп пар ОДЛК выше двушки не найдено. Двушек найдено 160. На уникальность результаты не проверила. PS. Господа! Кому интересны результаты, не забывайте их копировать. Результаты проекта ОДЛК всем доступны (ссылки приведены выше). Обрабатывайте результаты и собирайте БД проекта. Проверить уникальность относительно общей БД (когда она будет) - не проблема. Главное в проекте - результаты. Их надо собирать, систематизировать и публиковать. К сожалению, администратор Progger не желает делать эту работу. У администратора ice00 вроде дело подвигается, но пока опубликованную БД проекта ODLK1 мы не видели. Он пишет мне, что у него возникли проблемы с оперативной памятью сервера. В-о-о-о-т! А как бы я могла управиться с этой БД на моём ПК с 2 ГБ ОЗУ?! Не видим пока и опубликованную БД обработанных результатов проекта Tomas Brada, хотя проект работает уже второй месяц и результатов выдал больше полумиллиона КФ ОДЛК. Увы! |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Задала вопрос Томашу второй раз https://boinc.tbrada.eu/forum_thread.php?id=3031&postid=3494#3494 Всё! Кажется, история повторяется :( Томаш проект запустил и сразу же утратил к нему всякий интерес. БД проекта нет и, скорее всего, не будет. Точно так же, как в проекте ODLK. Очень печально! Так что, довольствуйтесь, господа, этим файлом сырых результатов проекта https://boinc.tbrada.eu/download/tot_odlk_plain.txt Если вам нужны результаты, копируйте их и обрабатывайте самостоятельно. Администраторам НЕКОГДА заниматься этим. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Хорошая новость! Result where finished in processing. отсюда https://boinc.multi-pool.info/latinsquares/forum_thread.php?id=54&postid=818#818 Возможно мы скоро увидим БД проекта ODLK1. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Скачала результаты с проекта ODLK за август т. г., начала обработку скриптом Белышева zamyk.bat. 1. odlk3 - 19192 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 38477 count[2] = 76 count[3] = 1 Всего: 38554 Найдено соквадратов: 38632 КФ соквадратов: 38554 Увы, тройка повторена. Проверка этой порции решений относительно БД проекта ODLK за май - декабрь 2018 г. Имя входного файла ИСТОЧНИК (без расширения):input Имя входного файла ВЫЧИТАЕМОЕ (без расширения):output input.txt Всего 38554 квадратов (вход) в input.txt output.txt Всего 385041 квадратов (вход) в output.txt Уникальных 38554 квадратов (выход). Пересечения нет. Это хорошо. Относительно общей БД проверить не могу, потому что у меня её нет. 2. odlkmax - 8505 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 17060 count[2] = 38 Всего: 17098 Найдено соквадратов: 17136 КФ соквадратов: 17098 Проверка этой порции относительно указанной выше части БД проекта ODLK Имя входного файла ИСТОЧНИК (без расширения):output Имя входного файла ВЫЧИТАЕМОЕ (без расширения):input output.txt Всего 17098 квадратов (вход) в output.txt input.txt Всего 385041 квадратов (вход) в input.txt Уникальных 17095 квадратов (выход). Пересечение - 3 КФ ОДЛК. 3. odlkmin - 18961 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 38010 count[2] = 96 Всего: 38106 Найдено соквадратов: 38202 КФ соквадратов: 38106 Проверка этой порции решений относительно указанной выше части БД проекта ODLK Имя входного файла ИСТОЧНИК (без расширения):output Имя входного файла ВЫЧИТАЕМОЕ (без расширения):input output.txt Всего 38106 квадратов (вход) в output.txt input.txt Всего 385041 квадратов (вход) в input.txt Уникальных 38106 квадратов (выход). Здесь отлично: нет пересечения. Август в проекте прошёл хорошо, производительность повысилась по сравнению с предыдущим месяцем. Лето закончилось, будем надеяться, что участники проекта подтянутся. |
Send message Joined: 6 Apr 17 Posts: 14090 Credit: 0 RAC: 0 |
Скачала результаты с проекта ODLK за сентябрь т. г., обработала скриптом Белышева zamyk.bat. 1. odlk3 - 15851 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 31782 count[2] = 64 Всего: 31846 Найдено соквадратов: 31910 КФ соквадратов: 31846 2. odlkmax - 11620 КФ ОДЛК (сырые результаты) Протокол работы скрипта забыла скопировать. В Замыкании 23362 КФ ОДЛК, в том числе 60 двушек. 3. odlkmin - 13779 КФ ОДЛК (сырые результаты) Замыкание Найдено марьяжных КФ: count[1] = 27660 count[2] = 49 Всего: 27709 Найдено соквадратов: 27758 КФ соквадратов: 27709 Ну хоть бы одна троечка :( |
©2024 (C) Progger