mdbx: вливание ветки `master` в `devel`.

5fc3965f · Юрьев ЛЕОНИД ВАЛЕРЬЕВИЧ · baaa26bb · 61a07368 · 5fc3965f · 5fc3965f
--- a/CMakeLists.txt
+++ b/CMakeLists.txt
 ##
-##  Copyright 2020-2023 Leonid Yuriev <leo@yuriev.ru>
+##  Copyright 2020-2024 Leonid Yuriev <leo@yuriev.ru>
 ##  and other libmdbx authors: please see AUTHORS file.
 ##  All rights reserved.
 ##

--- a/COPYRIGHT
+++ b/COPYRIGHT
-Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>.
+Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>.
 Copyright 2011-2015 Howard Chu, Symas Corp.
 Copyright 2015,2016 Peter-Service R&D LLC.
 All rights reserved.

--- a/ChangeLog.md
+++ b/ChangeLog.md
@@ -31,9 +31,95 @@ and [by Yandex](https://translated.turbopages.org/proxy_u/ru-en.en/https/gitflic
 ********************************************************************************


-## v0.12.8 (сопровождение и подготовка к релизу)
+## v0.12.10 "СЭМ" от 2024-03-12

-Поддержка стабильной ветки.
+Поддерживающий выпуск с исправлением обнаруженных ошибок и устранением недочетов
+в память Героя России гвардии майора Дмитрия Семёнова с позывным "СЭМ".
+
+```
+git diff' stat: 19 commits, 57 files changed, 751 insertions(+), 331 deletions(-)
+Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
+```
+
+Благодарности:
+
+ - [Dvir H](https://t.me/Dvirsw) за [сообщение](https://t.me/libmdbx/5368)
+   об ошибке `MDBX_CORRUPTED` в сценарии работы в режиме `MDBX_DUPFIXED` и нечетной длиной
+   мульти-значений, с предоставлением точного минимального сценария воспроизведения.
+
+Значимые исправления и доработки:
+
+ - Устранение унаследованной от LMDB ошибки приводящей к повреждению БД при использовании `MDBX_DUPFIXED`.
+   Проблема была выявлена при расширении тестов сценариями с длинными мульти-значениями в режиме `MDBX_DUPFIXED`.
+   Сообщений о проявлении этой ошибки в эксплуатационных/продуктовых средах не поступало.
+
+   На LEAF2-страниц, используемых для компактного хранения мульти-значений фиксированной длины,
+   выполнялось резервирование места без учета возможности превышения размера страниц,
+   с последующим переполнением, повреждением структуры БД и/или повреждением содержимого ОЗУ.
+
+   Вероятность проявления ошибки существенно увеличивалась с увеличением размера/длины
+   мульти-значений/дубликатов и уменьшением размера страницы БД. Поэтому при использовании `MDBX_INTEGERDUP`
+   вероятность проявления близка к нулю, а сценарий такого проявления найти не удалось.
+
+   В MDBX ошибка присутствовала с момента отделения проекта от LMDB,
+   где эта ошибка присутствует более 11 лети, по настоящее время.
+
+ - Исправление ложной ошибки `MDBX_CORRUPTED (-30796)` в сценарии работы
+   в режиме `MDBX_DUPFIXED` и нечетной длиной мульти-значений.
+
+ - Исправление недочета корректировки сопутствующих курсоров при разделении страницы
+   по сценарию добавления пустой страницы слева.
+
+ - Доработка `rebalance()` ради уменьшения WAF. Новый функционал, включая
+   контролируемую пользователем опцию `enum MDBX_option_t`, будет доступен
+   в выпусках ветки `0.13.x`, а в этом выпуске доработка сводится к тактике
+   не-вовленичения чистой страницы при нехватке запаса страниц в ходе обновления GC,
+   за счет ухудшения баланса дерева страниц.
+
+ - Устранение упущения приводящего к нелогичной ситуации
+   `me_dxb_mmap.curren > me_dxb_mmap.limit` при "дребезге" размера БД.
+   В текущем понимании, последствий кроме срабатывания assert-проверки нет, а
+   вероятность проявления близка к нулю.
+
+ - Исправление в функционале обхода дерева, используемого утилитой
+   `mdbx_chk`, подсчета места затраченного на выравнивание на вложенной
+   под-странице, в случае нечетного количества dupfixed-элементов нечетного
+   размера.
+   Сообщений о проявлении этой ошибки в эксплуатационных/продуктовых средах не поступало.
+
+ - Исправление assert-проверки внутри `check_txn()` для случая завершенных транзакций в режиме `MDBX_NO_TLS`.
+   Последствий ошибки, кроме срабатывания assert-проверки в отладочных сборках, нет.
+
+ - Устранение ошибки при открытии БД на файловой системе только-для-чтения.
+
+ - Удалены излишне строгие проверки в утилите `mdbx_chk`, которые
+   приводили к ложно-позитивным ошибкам при проверке БД после серии
+   последних доработок. Подробности см в комментариях к коммитам [781b3f64d52b73cbaeb00a55811d1247c25624a8](https://gitflic.ru/project/erthink/libmdbx/commit/781b3f64d52b73cbaeb00a55811d1247c25624a8)
+   и [0741c81cfd8dc0864fcf55e04192b2207c8f68f7](https://gitflic.ru/project/erthink/libmdbx/commit/0741c81cfd8dc0864fcf55e04192b2207c8f68f7).
+
+Прочее:
+
+ - Расширение стохастического теста dupfixed-сценариями.
+ - Корректировка условия в assert-проверке для `MDBX_TXN_DRAINED_GC`.
+ - Добавление в jitter-сценарий простого теста сброса и перезапуска читающих транзакций.
+ - Вынужденное продолжение очистки/рефакторинга унаследованных ребусов в `cursor_put_nochecklen()`.
+ - Фиксация транзакции при ошибках теста для последующего анализа содержимого БД.
+ - Сопутствующий рефакторинг `node_shrink()` для ясности исходного кода.
+ - Приведение в соответствие протоколируемых имен тестов опциям командной строки.
+ - Добавление cmoke-теста `extra/dupfixed_addodd`.
+
+
+--------------------------------------------------------------------------------
+
+
+## v0.12.9 "Ясень-4" от 2023-12-11
+
+Стабилизирующий выпуск с исправлением обнаруженных ошибок и устранением недочетов.
+
+```
+git diff' stat: 32 commits, 8 files changed, 667 insertions(+), 401 deletions(-)
+Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
+```

 Исправления и доработки:

@@ -42,12 +128,50 @@ and [by Yandex](https://translated.turbopages.org/proxy_u/ru-en.en/https/gitflic
   к не-активации соответствующего улучшения и не-достижению  декларируемого уровня
   производительности в сценариях использования в режиме `MDBX_WRITEMAP`.

+ - Исправление авто-установки `MDBX_ENV_CHECKPID` при отключении использования
+   функционала `madvise()` посредством опции сборки `MDBX_ENABLE_MADVISE=0`.
+   Из-за чего при поддержке системой `madvise(MADV_DONTFORK)` не включался контроль pid.
+
+ - Добавлена проверка переданного ключа на `NULL` при обработке `MDBX_GET_MULTIPLE`.
+
+ - Добавлена проверка номеров корневых страниц в `coherency_check()`.
+
+ - Обеспечен `const` для начала и конца диапазона в аргументах `mdbx_estimate_range()`.
+
+ - Из разрабатываемой версии перенесены не-нарушающие совместимости доработки C++ API:
+
+     - добавлен тип `mdbx::cursor::estimation_result`, а поведение методов
+      `cursor::estimate()` унифицировано с `cursor::move()`;
+     - для предотвращения незаметного неверного использования API, для инициализации
+       возвращаемых по ссылке срезов, вместо пустых срезов задействован `slice::invalid()`;
+     - добавлены дополнительные C++ операторы преобразования к типам C API;
+     - для совместимости со старыми стандартами C++ и старыми версиями STL перенесены
+       в public классы `buffer::move_assign_alloc` и `buffer::copy_assign_alloc`;
+     - добавлен тип `mdbx::default_buffer`;
+     - для срезов и буферов добавлены методы `hex_decode()`, `base64_decode()`, `base58_decode()`;
+     - добавлен тип `mdbx::comparator` и функций `mdbx::default_comparator()`;
+     - добавлены статические методы `buffer::hex()`, `base64()`, `base58()`;
+     - для транзакций и курсоров добавлены методы `get_/set_context`;
+     - добавлен метод `cursor::clone()`;
+
+ - Поддержка base58 приведена в соответствии с черновиком RFC.
+
+ - Переработка/исправление `to_hex()` и `from_hex()`.
+
+ - Уменьшение `MDBX_opt_rp_augment_limit` по умолчанию до 1/3 от текущего количества страниц в БД.
+
 Мелочи:

 - Удаление устаревших `mdbx_set_compare()` и `mdbx_set_dupsort()`.
 - Корректировка определения `MDBX_LAST_ADDED_ERRCODE`.
 - Добавление в C++ API забытого исключения `mdbx::duplicated_lck_file`.
 - Обновление патча для старых версий buildroot.
+ - Использование в API `const MDBX_txn` где это возможно.
+ - Удаление устаревшего упоминания `MDBX_EAGAIN`.
+ - Проверка pid процесса только в функциях API требующих активной среды/env.
+ - Исправление опечаток в комментариях, в том числе  в doxygen-описании.
+ - В тестах для совместимости с проблемными версиями glibc и glibc++
+   устранено использование `std::stoull()`.


 --------------------------------------------------------------------------------

--- a/README.md
+++ b/README.md
 <!-- Required extensions: pymdownx.betterem, pymdownx.tilde, pymdownx.emoji, pymdownx.tasklist, pymdownx.superfences -->

+### Время учить Русский
+
+Начиная с 2021 года наблюдается устойчивые тенденции к распространению
+недостоверной информации о _libmdbx_ в странах ~~НАТО~~,
+политизированной критика, а также отказу от использования библиотеки в
+пользу LMDB, несмотря на явные проблемы с одной стороны и преимущества с
+другой. Поэтому начиная с 17 марта 2024 года прекращается
+документирование и сопровождение проекта на английском языке. Новый
+функционал будет документироваться только на русском языке, однако,
+целенаправленного переписывания/перевода документации пока не
+планируется.
+
 ### The origin has been migrated to [GitFlic](https://gitflic.ru/project/erthink/libmdbx)
-since on 2022-04-15 the Github administration, without any warning
+Since on 2022-04-15 the Github administration, without any warning
 nor explanation, deleted _libmdbx_ along with a lot of other projects,
 simultaneously blocking access for many developers.
 For the same reason ~~Github~~ is blacklisted forever.
@@ -10,7 +22,7 @@ GitFlic's developers plan to support other languages,
 including English 和 中文, in the near future.

 ### Основной репозиторий перемещен на [GitFlic](https://gitflic.ru/project/erthink/libmdbx)
-так как 15 апреля 2022 администрация Github без предупреждения и
+Так как 15 апреля 2022 администрация Github без предупреждения и
 объяснения причин удалила _libmdbx_ вместе с массой других проектов,
 одновременно заблокировав доступ многим разработчикам.
 По этой же причине ~~Github~~ навсегда занесен в черный список.

--- a/cmake/compiler.cmake
+++ b/cmake/compiler.cmake
-##  Copyright (c) 2012-2023 Leonid Yuriev <leo@yuriev.ru>.
+##  Copyright (c) 2012-2024 Leonid Yuriev <leo@yuriev.ru>.
 ##
 ##  Licensed under the Apache License, Version 2.0 (the "License");
 ##  you may not use this file except in compliance with the License.

--- a/cmake/profile.cmake
+++ b/cmake/profile.cmake
-##  Copyright (c) 2012-2023 Leonid Yuriev <leo@yuriev.ru>.
+##  Copyright (c) 2012-2024 Leonid Yuriev <leo@yuriev.ru>.
 ##
 ##  Licensed under the Apache License, Version 2.0 (the "License");
 ##  you may not use this file except in compliance with the License.

--- a/cmake/utils.cmake
+++ b/cmake/utils.cmake
-##  Copyright (c) 2012-2023 Leonid Yuriev <leo@yuriev.ru>.
+##  Copyright (c) 2012-2024 Leonid Yuriev <leo@yuriev.ru>.
 ##
 ##  Licensed under the Apache License, Version 2.0 (the "License");
 ##  you may not use this file except in compliance with the License.

--- a/mdbx.h
+++ b/mdbx.h
@@ -25,7 +25,7 @@ _The Future will (be) [Positive](https://www.ptsecurity.com). Всё будет

 \section copyright LICENSE & COPYRIGHT

-\authors Copyright (c) 2015-2023, Leonid Yuriev <leo@yuriev.ru>
+\authors Copyright (c) 2015-2024, Leonid Yuriev <leo@yuriev.ru>
 and other _libmdbx_ authors: please see [AUTHORS](./AUTHORS) file.

 \copyright Redistribution and use in source and binary forms, with or without
@@ -2408,7 +2408,6 @@ LIBMDBX_API int mdbx_env_get_option(const MDBX_env *env,
 *                            doesn't exist.
 * \retval MDBX_EACCES        The user didn't have permission to access
 *                            the environment files.
- * \retval MDBX_EAGAIN        The environment was locked by another process.
 * \retval MDBX_BUSY          The \ref MDBX_EXCLUSIVE flag was specified and the
 *                            environment is in use by another process,
 *                            or the current process tries to open environment

--- a/mdbx.h++
+++ b/mdbx.h++
 /// \file mdbx.h++
 /// \brief The libmdbx C++ API header file.
 ///
-/// \author Copyright (c) 2020-2023, Leonid Yuriev <leo@yuriev.ru>.
+/// \author Copyright (c) 2020-2024, Leonid Yuriev <leo@yuriev.ru>.
 /// \copyright SPDX-License-Identifier: Apache-2.0
 ///
 /// Tested with:

--- a/packages/buildroot/0001-package-libmdbx-new-package-library-database.patch
+++ b/packages/buildroot/0001-package-libmdbx-new-package-library-database.patch
-From 3efdf07a80f750c23de126ac80e78fb0545a1b63 Mon Sep 17 00:00:00 2001
+From 22732cf074188912caea6da6795c36098efb7eb5 Mon Sep 17 00:00:00 2001
 From: =?UTF-8?q?=D0=9B=D0=B5=D0=BE=D0=BD=D0=B8=D0=B4=20=D0=AE=D1=80=D1=8C?=
 =?UTF-8?q?=D0=B5=D0=B2=20=28Leonid=20Yuriev=29?= <leo@yuriev.ru>
 Date: Mon, 23 Oct 2023 18:07:13 +0300
@@ -13,11 +13,10 @@ This patch adds libmdbx:
   focused on creating unique lightweight solutions.
 - libmdbx surpasses the legendary LMDB (Lightning Memory-Mapped Database)
   in terms of reliability, features and performance.
- - https://gitflic.ru/project/erthink/libmdbx
+ - more information at https://gitflic.ru/project/erthink/libmdbx

-The v0.12.8 "Vladimir Utkin" is stable release of frontward _libmdbx_
-branch with new superior features on the day of 100 anniversary of the birth
-of the outstanding Soviet and Russian scientist and engineer Vladimir Fedorovich Utkin.
+The v0.12.10 "SEM" is stable release of _libmdbx_ branch with new superior features,
+in memory of the Hero of Russia Guard Major Dmitry Semenov with the call sign "SEM".

 The complete ChangeLog: https://gitflic.ru/project/erthink/libmdbx/blob?file=ChangeLog.md

@@ -112,18 +111,18 @@ index 0000000000..a9a4ac45c5
 +		!BR2_TOOLCHAIN_GCC_AT_LEAST_4_4
 diff --git a/package/libmdbx/libmdbx.hash b/package/libmdbx/libmdbx.hash
 new file mode 100644
-index 0000000000..82cf28d6a9
+index 0000000000..1dbdef7c69
 --- /dev/null
 +++ b/package/libmdbx/libmdbx.hash
 @@ -0,0 +1,5 @@
 +# Hashes from: https://libmdbx.dqdkfa.ru/release/SHA256SUMS
-+sha256  c78c56c53708bbfc519bf53ebf520d1f09d30ee6427a4bedf713316696e671d0  libmdbx-amalgamated-0.12.8.tar.xz
+sha256  4637e06768a9a8fc7577e6e458e045ad1f9a8baee74996a3c88bc0ad64cbcf67  libmdbx-amalgamated-0.12.10.tar.xz
 +
 +# Locally calculated
 +sha256  310fe25c858a9515fc8c8d7d1f24a67c9496f84a91e0a0e41ea9975b1371e569  LICENSE
 diff --git a/package/libmdbx/libmdbx.mk b/package/libmdbx/libmdbx.mk
 new file mode 100644
-index 0000000000..d198fe5b22
+index 0000000000..36df45b64f
 --- /dev/null
 +++ b/package/libmdbx/libmdbx.mk
 @@ -0,0 +1,42 @@
@@ -133,7 +132,7 @@ index 0000000000..d198fe5b22
 +#
 +################################################################################
 +
-+LIBMDBX_VERSION = 0.12.8
+LIBMDBX_VERSION = 0.12.10
 +LIBMDBX_SOURCE = libmdbx-amalgamated-$(LIBMDBX_VERSION).tar.xz
 +LIBMDBX_SITE = https://libmdbx.dqdkfa.ru/release
 +LIBMDBX_SUPPORTS_IN_SOURCE_BUILD = NO
@@ -170,5 +169,5 @@ index 0000000000..d198fe5b22
 +
 +$(eval $(cmake-package))
 -- 
-2.42.0
+2.43.2

--- a/src/alloy.c
+++ b/src/alloy.c
 /*
- * Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>
+ * Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>
 * and other libmdbx authors: please see AUTHORS file.
 * All rights reserved.
 *

--- a/src/base.h
+++ b/src/base.h
 /*
- * Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>
+ * Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>
 * and other libmdbx authors: please see AUTHORS file.
 * All rights reserved.
 *

--- a/src/core.c
+++ b/src/core.c
 /*
- * Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>.
+ * Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>.
 * and other libmdbx authors: please see AUTHORS file.
 * All rights reserved.
 *
@@ -6452,7 +6452,7 @@ __cold static void munlock_all(const MDBX_env *env) {
 }
  
 __cold static unsigned default_rp_augment_limit(const MDBX_env *env) {
-  const size_t timeframe = 16 << 16;
+  const size_t timeframe = /* 16 секунд */ 16 << 16;
  const size_t remain_1sec =
      (env->me_options.gc_time_limit < timeframe)
          ? timeframe - (size_t)env->me_options.gc_time_limit
--- a/src/internals.h
+++ b/src/internals.h
 /*
- * Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>
+ * Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>
 * and other libmdbx authors: please see AUTHORS file.
 * All rights reserved.
 *

--- a/src/lck-posix.c
+++ b/src/lck-posix.c
 /*
- * Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>
+ * Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>
 * and other libmdbx authors: please see AUTHORS file.
 * All rights reserved.
 *

--- a/src/lck-windows.c
+++ b/src/lck-windows.c
 /*
- * Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>
+ * Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>
 * and other libmdbx authors: please see AUTHORS file.
 * All rights reserved.
 *

--- a/src/man1/mdbx_chk.1
+++ b/src/man1/mdbx_chk.1
-.\" Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>.
+.\" Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_CHK 1 "2023-04-23" "MDBX 0.13"
+.TH MDBX_CHK 1 "2024-03-21" "MDBX 0.13"
 .SH NAME
 mdbx_chk \- MDBX checking tool
 .SH SYNOPSIS

--- a/src/man1/mdbx_copy.1
+++ b/src/man1/mdbx_copy.1
-.\" Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>.
+.\" Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>.
 .\" Copyright 2015,2016 Peter-Service R&D LLC <http://billing.ru/>.
 .\" Copyright 2012-2015 Howard Chu, Symas Corp. All Rights Reserved.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_COPY 1 "2023-04-23" "MDBX 0.13"
+.TH MDBX_COPY 1 "2024-03-21" "MDBX 0.13"
 .SH NAME
 mdbx_copy \- MDBX environment copy tool
 .SH SYNOPSIS

--- a/src/man1/mdbx_drop.1
+++ b/src/man1/mdbx_drop.1
-.\" Copyright 2021-2023 Leonid Yuriev <leo@yuriev.ru>.
+.\" Copyright 2021-2024 Leonid Yuriev <leo@yuriev.ru>.
 .\" Copyright 2014-2021 Howard Chu, Symas Corp. All Rights Reserved.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_DROP 1 "2023-04-23" "MDBX 0.13"
+.TH MDBX_DROP 1 "2024-03-21" "MDBX 0.13"
 .SH NAME
 mdbx_drop \- MDBX database delete tool
 .SH SYNOPSIS

--- a/src/man1/mdbx_dump.1
+++ b/src/man1/mdbx_dump.1
-.\" Copyright 2015-2023 Leonid Yuriev <leo@yuriev.ru>.
+.\" Copyright 2015-2024 Leonid Yuriev <leo@yuriev.ru>.
 .\" Copyright 2015,2016 Peter-Service R&D LLC <http://billing.ru/>.
 .\" Copyright 2014-2015 Howard Chu, Symas Corp. All Rights Reserved.
 .\" Copying restrictions apply.  See COPYRIGHT/LICENSE.
-.TH MDBX_DUMP 1 "2023-04-23" "MDBX 0.13"
+.TH MDBX_DUMP 1 "2024-03-21" "MDBX 0.13"
 .SH NAME
 mdbx_dump \- MDBX environment export tool
 .SH SYNOPSIS