New experiment PADLS for distributed computing

Message boards : Science : New experiment PADLS for distributed computing
Message board moderation

To post messages, you must log in.

Previous · 1 . . . 15 · 16 · 17 · 18 · 19 · 20 · 21 . . . 22 · Next

AuthorMessage
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9488 - Posted: 29 Aug 2022, 6:08:08 UTC
Last modified: 29 Aug 2022, 6:13:19 UTC

Дальше Ахиллес будет считать следующие интервалы

300	301	6.961.986	6.961.986
383	384	6.810.310	6.810.310
364	365	6.627.289	6.627.289
447	448	6.583.716	6.583.716
488	489	6.044.980	6.044.980
491	492	5.903.827	5.903.827
435	436	5.738.672	5.738.672
458	459	5.656.648	5.656.648
302	303	5.588.577	5.588.577
386	387	5.317.312	5.317.312
318	319	5.022.408	5.022.408
404	405	4.955.831	4.955.831
354	355	4.758.862	4.758.862
431	432	4.685.823	4.685.823
301	302	4.477.716	4.477.716
487	488	4.445.490	4.445.490
436	437	4.330.033	4.330.033

Начинаем снизу, то есть с интервала №436.
ID: 9488 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9491 - Posted: 29 Aug 2022, 8:44:31 UTC
Last modified: 29 Aug 2022, 8:47:14 UTC

Скачала результаты от walli из интервалов №№ 313,316,319,334,337,339,351,360,371,385,395,399,402,408,410,412,415,424,
432,449,451,454,455,457,460,462,466,472,485,489
.
В этих интервалах найдено 2931 КФ ОДЛК (сырые результаты).
Очень хорошо! Спасибо!

Добавила результаты в 13-ю порцию.
Сейчас буду обрабатывать результаты этой порции.
ID: 9491 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9497 - Posted: 29 Aug 2022, 13:18:07 UTC

13-я порция результатов эксперимента обработана.
В этой порции получено 49637 КФ ОДЛК в том числе 107 двушек.

БД эксперимента содержит на данный момент 286718 КФ ОДЛК, в том числе 606 двушек и две тройки.
Отличные результаты!

Эксперимент продолжается!
ID: 9497 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9528 - Posted: 31 Aug 2022, 11:09:03 UTC
Last modified: 31 Aug 2022, 11:23:40 UTC

walli
большое спасибо, что вы посчитали интервал №380.

Результат очень неожиданный.
У вас получилось меньше на один квадрат, чем у меня.
У меня найдено 36 квадратов, а у вас найдено только 35 квадратов.

У вас отсутствует самый последний квадрат, найденный у меня

0 5 3 2 7 8 9 6 4 1
5 1 4 9 6 7 2 8 0 3
4 7 2 8 9 1 0 3 6 5
1 2 6 3 0 4 7 5 9 8
9 3 5 0 4 6 8 2 1 7
7 9 0 6 8 5 4 1 3 2
3 8 7 5 1 9 6 0 2 4
8 0 9 4 3 2 1 7 5 6
6 4 1 7 2 3 5 9 8 0
2 6 8 1 5 0 3 4 7 9

Так что, пока ничего не выяснилось, а только больше запуталось.
Помочь в этом разобраться мог бы Demis, но он сейчас сильно занят в другом эксперименте (и его машины там заняты).

Ну, обрадовало то, что у меня квадратов больше :)
Можно думать, что у меня ничего не потерялось.
Однако озадачило то, что у вас не хватает одного квадрата.
Вы считали в моей конфигурации?
4 потока, 200000 КФ СН ДЛК на один цикл.
ID: 9528 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9529 - Posted: 31 Aug 2022, 12:02:41 UTC

Скачала результаты от walli из интервалов №№ 300,344,359,377,398,400,423,441,452,456,463,490.
В этих интервалах найдено 700 КФ ОДЛК (сырые результаты).
Очень хорошо! Спасибо!

Начала собирать 14-ю порцию результатов.
В неё вошли также результаты из трёх интервалов, обсчитанных Ахиллесом (№№ 301, 436, 487).
ID: 9529 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
walli

Send message
Joined: 24 Dec 21
Posts: 59
Credit: 0
RAC: 0
Message 9530 - Posted: 31 Aug 2022, 19:24:38 UTC
Last modified: 31 Aug 2022, 19:46:31 UTC

Yes, I used your settings.

I can check the interval a second time, but I found the "missing" square in #381 (4th square in my result file; starting from line 34). This can be a result of your memory error. Demis (or who gave you access to "Achilles"?) should really test the RAM or the results are not reliable.
ID: 9530 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9538 - Posted: 1 Sep 2022, 7:49:29 UTC - in response to Message 9530.  
Last modified: 1 Sep 2022, 7:53:37 UTC

I can check the interval a second time, but I found the "missing" square in #381 (4th square in my result file; starting from line 34). This can be a result of your memory error.

Нет, второй раз не надо проверять.
Озадачивает вот что: ошибка возникла в 21-ом цикле, а лишний квадрат по идее должен был появиться в 22-ом цикле - последнем.
Каким образом ошибка в 21-ом цикле оказала влияние на 22-ой цикл?

Не будем гадать на кофейной гуще.
Главное, что решения у меня не потеряны!

Ошибка возникает очень редко, поэтому не буду беспокоить владельца Ахиллеса (это не Demis).

Спасибо вам за проверку.
ID: 9538 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
walli

Send message
Joined: 24 Dec 21
Posts: 59
Credit: 0
RAC: 0
Message 9540 - Posted: 1 Sep 2022, 9:42:12 UTC

#380 has 4.107.950 SNDLK and if your setting is 200.000 per cycle your calculation ends after 21 cycles (= 4.200.000), so there is no 22nd cyclet.

This problem is serious. Remember that 8 bits = 1 byte and if just 1 bit flips over occasionally (you don't know when and where) your whole process can get messed up, resulting in a wrong input, a wrong calculation or a wrong output. And you don't know whether just 1 bit (= 1 memory cell) is affected or even more. It's also possible that the RAM is not defective, but the system was overclocked, or the cooling is insufficient, or any other problem that leads to instabilities and causes data corruption. And maybe it's not even the RAM, but the mainboard or the CPU itself...
ID: 9540 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9541 - Posted: 1 Sep 2022, 10:20:00 UTC - in response to Message 9540.  
Last modified: 1 Sep 2022, 10:23:47 UTC

#380 has 4.107.950 SNDLK and if your setting is 200.000 per cycle your calculation ends after 21 cycles (= 4.200.000), so there is no 22nd cyclet.

Да, вы правы, 22-го цикла здесь нет.
Однако

. . . . . . . 
Скопировано файлов:         1.
 
Run: family_mar input.txt output.txt
Find Marijazh DLS (except symmetrical) for family LS
Used config file: family_mar.conf
UseThreads:1
MaxThread:4
ShowWrittenOnScreen:1
BlockToContinueRun:0
Have LS: 200000
nb_threads: 4
written to file output.tmp is: 3 (count last DLK is: 12728135 )
Checked DLK: 57742469
Run Time (s): 5601.45
Real Run Time (s): 1400
Found Fancy DLS: 3
They are written to file output.txt
     0 [main] us 0 open_stackdumpfile: Dumping stack trace to us.stackdump
MSYS-1.0.18 Build:2012-11-21 22:34
Exception: STATUS_NONCONTINUABLE_EXCEPTION at eip=77D7064D
eax=0028EED0 ebx=0028FF00 ecx=00000000 edx=C0000008 esi=0028EF4C edi=00000000
ebp=0028EF34 esp=0028EEC4 program=us
cs=0023 ds=002B es=002B fs=0053 gs=002B ss=002B
Stack trace:
Frame     Function  Args
0028EF34  77D7064D  (0028EF4C, 0028EF9C, 0028EF4C, 0028EF9C)
0028F400  77CF0133  (00320114, 00330D30, 00000004, 6083D480)
0028F418  77D2EC8C  (00320114, 00000001, 00000004, 6083D480)
0028F6A8  6083DB62  (00320000, 00330F38, 608AAC61, 00000022)
0028FD38  6083CE56  (00320000, 000F003F, 00012000, 00320000)
0028FD78  6083D2A8  (00320000, 608F0104, 00011044, 00000000)
0028FEC8  60855079  (6089C6C8, 00000000, FFFFFFFE, 77D16F2C)
0028FF18  60804035  (6089C740, FFFFFFFE, 0000004C, 6089C6A4)
0028FF58  60804955  (00000000, 00000000, 00000000, 0008EF30)
0028FF78  004128FF  (00401040, 037F0000, 0028FF94, 76FC343D)
0028FF88  0040103E  (7EFDE000, 0028FFD4, 77D19812, 7EFDE000)
0028FF94  76FC343D  (7EFDE000, 42B72B8D, 00000000, 00000000)
0028FFD4  77D19812  (00401000, 7EFDE000, 00000000, 00000000)
0028FFEC  77D197E5  (00401000, 7EFDE000, 00000000, 78746341)
End of stack trace---------
Cycle run: 22
27.08.2022
14:37
run: generator_kf
Генератор КФ ДЛК10
. . . . . . . . . . . 

Здесь мы ясно видим 22-й цикл.
Откуда же он взялся? Видимо, это из-за ошибки.
И 22-й цикл нормально просчитался, выдалось сообщение о том, что найден конечный квадрат, и скрипт остановился.

This problem is serious. Remember that 8 bits = 1 byte and if just 1 bit flips over occasionally (you don't know when and where) your whole process can get messed up, resulting in a wrong input, a wrong calculation or a wrong output. And you don't know whether just 1 bit (= 1 memory cell) is affected or even more. It's also possible that the RAM is not defective, but the system was overclocked, or the cooling is insufficient, or any other problem that leads to instabilities and causes data corruption. And maybe it's not even the RAM, but the mainboard or the CPU itself...

Я понимаю.
Но я надеюсь, что неполадки в ОЗУ не проходят совершенно не замеченными и выдаются ошибки.
На Ахиллесе считаются ещё два эксперимента.
В этих экспериментах никаких ошибок ни разу не возникло!

Кстати, у Demis другая версия этой ошибки.
Не хочется искать цитату, но могу сказать своими словами: он писал, что там что-то неправильно выходит из потока.
И он эту ошибку в коде видел и исправил, но исправление не попало в действующую версию скрипта (в более поздней версии).
Так что, дело, может быть, даже и не в оперативной памяти.
ID: 9541 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9542 - Posted: 1 Sep 2022, 10:39:57 UTC
Last modified: 1 Sep 2022, 10:43:17 UTC

Нашла. Почитайте, что думает по этому поводу Demis.
D. - Demis
N. - Natalia

N.
Кажется, что-то похожее на это было и в прошлый раз

D.
Именно.

N.
0 [main] us 0 open_stackdumpfile: Dumping stack trace to us.stackdump

Но программа досчитала до конца

D.
Это не совсем так.
В данном случае один цикл был не досчитан.
Пропущен из-за ошибки.
При возникновении эксепшена данные из программы теряются.

N.
Found compared LS from what.txt. Exit to end script.

script is end...
Для продолжения нажмите любую клавишу . . .

Надеюсь, что все решения найдены, ничего не пропущено.
Интервал этот короткий, можете попробовать пересчитать, если интересно, что за ошибка у меня вылезает.
И главное: не влияет ли эта ошибка на результаты?

D.
Влияет.
В рамках одного цикла батника, т.е. если грубо, то в пределах 200.000 исследуемых квадратов конкретного цикла.

Там вот какая фишка произошла.
Была допущена ошибка в коде по выходу из программы, из конкретного треада, при нахождении квадрата по условию.
Ошибка архитектурная.
Сразу видна не была.
Т.к. виндовый компилятор не считал это ошибкой и тесты показывали "вроде все в порядке".

Выяснилось это когда я стал переносить код с винды на юникс.
Я стал разбираться в проблеме и нашел это.
Юниксовый компилятор напрочь отказывался собирать программу с грубейшей ошибкой выхода из программы из под треада.
Что делать категорически запрещено.

Исправил.
<…>
Собственно это все и входило в четвертый пакет высланный Вам в феврале или начале марта, не помню.
ID: 9542 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9543 - Posted: 1 Sep 2022, 10:46:43 UTC

Ещё раз цитирую Demis
Была допущена ошибка в коде по выходу из программы, из конкретного треада, при нахождении квадрата по условию.
Ошибка архитектурная.
Сразу видна не была.

Интересно вот что: почему эта ошибка проявляется не всегда, а только в некоторых (очень редких) случаях?
ID: 9543 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9553 - Posted: 2 Sep 2022, 17:00:53 UTC
Last modified: 2 Sep 2022, 17:03:59 UTC

Тут мне дали сервер в удалённое управление на недельку, потестировать, ибо сервер новый.

Цитата
Далее не проверенные интервалы 261 - 299.

Попробую на этом сервере посчитать пропущенные интервалы.
Для начала запустила интервалы №№261-264 вместе
261,262,6561814,6561814,13.6084
262,263,30015963,30015963,61.4476
263,264,5712689,5712689,13.4849
264,265,6571143,6571143,17.8047

Сделала следующую конфигурацию: 12 потоков, 500000 КФ СН ДЛК на один цикл, 100 циклов.
Посмотрю, что получится.
ID: 9553 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9578 - Posted: 4 Sep 2022, 13:18:51 UTC
Last modified: 4 Sep 2022, 13:21:47 UTC

Интервалы №№261-264 обсчитаны.
В них найдено 313 КФ ОДЛК (сырые результаты).
Выбрала новую группу интервалов

265,266,4728008,4728008,9.31499
266,267,5489124,5489124,11.0756
267,268,18479173,18479173,35.9705
268,269,7530843,7530843,15.0949
269,270,740610,740610,1.40641

Сейчас запущу.
ID: 9578 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
walli

Send message
Joined: 24 Dec 21
Posts: 59
Credit: 0
RAC: 0
Message 9580 - Posted: 4 Sep 2022, 14:38:33 UTC

START	END	SNDLK		KF
293	294	161.017.564	161.017.564
294	295	153.230.669	153.230.669
285	286	132.944.258	132.944.258
270	271	106.448.005	106.448.005
272	273	99.332.465	99.332.465
298	299	84.353.571	84.353.571
289	290	68.822.069	68.822.069
286	287	65.910.176	65.910.176
296	297	60.496.925	60.496.925
287	288	53.768.383	53.768.383
295	296	42.914.248	42.914.248
288	289	41.087.065	41.087.065
275	276	41.064.730	41.064.730
274	275	39.016.748	39.016.748
291	292	38.878.307	38.878.307
262	263	30.015.963	30.015.963
277	278	28.912.465	28.912.465
281	282	27.154.541	27.154.541
299	300	22.548.858	22.548.858
278	279	21.122.500	21.122.500
271	272	20.084.624	20.084.624
267	268	18.479.173	18.479.173
292	293	17.853.046	17.853.046
279	280	14.091.820	14.091.820
283	284	9.945.773	9.945.773
290	291	8.628.771	8.628.771
268	269	7.530.843	7.530.843
284	285	7.040.712	7.040.712
264	265	6.571.143	6.571.143
261	262	6.561.814	6.561.814
263	264	5.712.689	5.712.689
266	267	5.489.124	5.489.124
276	277	5.425.253	5.425.253
265	266	4.728.008	4.728.008
280	281	2.420.931	2.420.931
273	274	1.598.581	1.598.581
297	298	1.026.944	1.026.944
282	283	812.157		812.157
269	270	740.610		740.610

I start at the top again, let's meet in the middle :).
ID: 9580 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9608 - Posted: 6 Sep 2022, 7:45:44 UTC - in response to Message 9580.  
Last modified: 6 Sep 2022, 8:07:40 UTC

Ахиллес-2 обсчитал интервалы
265,266,4728008,4728008,9.31499
266,267,5489124,5489124,11.0756
267,268,18479173,18479173,35.9705
268,269,7530843,7530843,15.0949
269,270,740610,740610,1.40641

Запущен интервал №270, это длинный интервал, поэтому он один запущен.

walli
не считайте интервал №270, поскольку он уже запущен мной.

Дальше я буду считать снизу в вашем списке.
Спасибо!

Я давно не заглядывала в ваши результаты: у меня очень много работы в другом эксперименте (это не мой эксперимент, я просто принимаю участие, поскольку эксперимент очень интересный).
Сейчас загляну :)

Заглянула, ничего нового не нашла :)
Вы уже всё обсчитали в интервалах 300 - 500.
Это отлично!
У меня осталось 4 интервала в этом списке интервалов.
ID: 9608 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
walli

Send message
Joined: 24 Dec 21
Posts: 59
Credit: 0
RAC: 0
Message 9616 - Posted: 6 Sep 2022, 21:21:06 UTC

Sorry, #270 will finish in about 3 hours so I'm going to upload the result tomorrow.
ID: 9616 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9617 - Posted: 7 Sep 2022, 2:24:18 UTC - in response to Message 9616.  
Last modified: 7 Sep 2022, 2:27:02 UTC

Sorry, #270 will finish in about 3 hours so I'm going to upload the result tomorrow.

Хорошо.
Я прервала проверку интервала №270 и запустила проверку интервала №282.
У меня было найдено в интервале №270 (частично) 152 квадрата, я сохранила их для сравнения с вашими результатами.
ID: 9617 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9631 - Posted: 8 Sep 2022, 2:58:11 UTC
Last modified: 8 Sep 2022, 11:22:17 UTC

Ахиллес-2 уже обсчитал следующие интервалы

268	269	7.530.843	7.530.843 
284	285	7.040.712	7.040.712
264	265	6.571.143	6.571.143 
261	262	6.561.814	6.561.814 
263	264	5.712.689	5.712.689 
266	267	5.489.124	5.489.124 
276	277	5.425.253	5.425.253
265	266	4.728.008	4.728.008 
280	281	2.420.931	2.420.931
273	274	1.598.581	1.598.581
297	298	1.026.944	1.026.944
282	283	812.157		812.157
269	270	740.610		740.610

Сейчас считает интервал №290.
Напомню: Ахиллес-2 считает в 12 потоков.

Готово!
Интервал №290 посчитан.
Теперь Ахиллес-2 будет считать эти интервалы

299	300	22.548.858	22.548.858
278	279	21.122.500	21.122.500
271	272	20.084.624	20.084.624
267	268	18.479.173	18.479.173
292	293	17.853.046	17.853.046
279	280	14.091.820	14.091.820
283	284	9.945.773	9.945.773

Как всегда , начинаем снизу, то есть с интервала №283.
ID: 9631 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9646 - Posted: 9 Sep 2022, 2:06:59 UTC

Ахиллес обсчитал последний блок интервалов в диапазоне 300 - 500

383	384	6.810.310	6.810.310
364	365	6.627.289	6.627.289
447	448	6.583.716	6.583.716
488	489	6.044.980	6.044.980
491	492	5.903.827	5.903.827
435	436	5.738.672	5.738.672
458	459	5.656.648	5.656.648
302	303	5.588.577	5.588.577
386	387	5.317.312	5.317.312
318	319	5.022.408	5.022.408
404	405	4.955.831	4.955.831
354	355	4.758.862	4.758.862
431	432	4.685.823	4.685.823
301	302	4.477.716	4.477.716
487	488	4.445.490	4.445.490
436	437	4.330.033	4.330.033

Он подключается к этому блоку интервалов

299	300	22.548.858	22.548.858
278	279	21.122.500	21.122.500
271	272	20.084.624	20.084.624
267	268	18.479.173	18.479.173
292	293	17.853.046	17.853.046
279	280	14.091.820	14.091.820
283	284	9.945.773	9.945.773

Здесь уже работает Ахиллес-2.
ID: 9646 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Profile Natalia Makarova
Project scientist
Avatar

Send message
Joined: 6 Apr 17
Posts: 13271
Credit: 0
RAC: 0
Message 9655 - Posted: 9 Sep 2022, 20:31:15 UTC
Last modified: 9 Sep 2022, 20:36:20 UTC

Скачала результаты от walli из интервалов №№ 293,294,285,270,272,298,289,286,296,287,295,288,275,274,291,277,281.
В этих интервалах найдено 8444 КФ ОДЛК (сырые результаты).
Отлично! Спасибо!

Добавила результаты в 14-ю порцию.

Ахиллес и Ахиллес-2 скоро закончат обработку блока интервалов

299	300	22.548.858	22.548.858
278	279	21.122.500	21.122.500
271	272	20.084.624	20.084.624
267	268	18.479.173	18.479.173
292	293	17.853.046	17.853.046
279	280	14.091.820	14.091.820
283	284	9.945.773	9.945.773

walli
мы встретились :)
ID: 9655 · Rating: 0 · rate: Rate + / Rate - Report as offensive     Reply Quote
Previous · 1 . . . 15 · 16 · 17 · 18 · 19 · 20 · 21 . . . 22 · Next

Message boards : Science : New experiment PADLS for distributed computing


©2024 (C) Progger