-
v0.3.20Релиз fpta: выпуск v0.3.20
v0.3.20 fpta: выпуск v0.3.20 Стабильная версия с исправлением замеченных ошибок и недочетов. Исправления и доработки в libfpta: ================================== - Устранение предупреждений новых версий apple-clang. - Удаление использования VLA. - Устранение предупреждений/ошибок из-за `NaN` при использовании `-Ofast`/`-Ofast-math` с новыми компиляторами - Прерывание тестов Threaded.AsyncSchemaChange и Threaded.RacingOverflow при ошибках. - Доработка поддержки Valgrind/memcheck и обновление имен функций в списке подавлений/исключений. - Упрощение ограничений на версии компиляторов для LTO. - Добавление упущенного `include <iomanip>`. - Корректировка макросов `__hot`/`__cold`. Исправления и доработки в libmdbx: ================================== - Исправление для ОС Windows нарезки `FILE_SEGMENT_ELEMENT`. Похоже что был потерян коммит входе работы над оптимизацией пути записи на диск в ОС Windows. В текущем понимании, вероятность проявления ошибки достаточно низкая, так как выявлена она была синтетическими тестами в ходе других доработок, а соответствующих сообщений/жалоб не поступало. К повреждению БД ошибка не приводила, так как сбой происходил до записи данных с возвратом `ERROR_INVALID_PARAMETER` из системного вызова, т.е. либо ошибка не проявлялась, либо транзакция не фиксировалась. - Устранение вероятности `SIGSEGV` при включении логирования уровня `MDBX_LOG_TRACE` в отладочных сборках. - Исправление генерации исключения `key_exists` в C++ API. - Исправление обработки курсоров, открытых в родительских транзакциях и закрытых до завершения вложенных транзакций. В описанной ситуации закрытые курсоры "воскрешались", что приводило к утечке памяти выделенной под такие курсоры. - Костыль для MSVC ARM/ARM64 для предотвращения ICE (Internal Compiler Error). - Устранение `MDBX_EINVAL` для случая вызова `mdbx_env_remove(".")`. - Исправление инверсии bool-результата `env::remove()`в C++ API. Более полная информация в [списке изменений libmdbx](https://gitflic.ru/project/erthink/libmdbx/blob?file=ChangeLog.md&branch=stable). --- 53 files changed, 1436 insertions(+), 1026 deletions(-) Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru> -
v0.3.19
fpta: выпуск v0.3.19 Стабильная версия с исправлением замеченных ошибок и недочетов. Исправления и доработки в libfpta: ================================== - Доработка CMake-скриптов для возможности подключения/использования через под-директорию, а не виде отдельного проекта или под-проекта. - Доработки тестов: - Расширение теста асинхронного/конкурентного изменения схемы БД для проверки сценариев обработки и возврата ощибки `FPTA_BAD_DBI`. - Костыль для подавления ошибочных предупреждений Coverity. - Устранение проблемы сборки на новых версиях STL из-за упущенного `#include <iomanip>`. - Обновление libmdbx с `0.12.8` на `0.12.10`. Исправления и доработки в libmdbx: ================================== - Устранение унаследованной от LMDB ошибки приводящей к повреждению БД при использовании `MDBX_DUPFIXED`. Проблема была выявлена при расширении тестов сценариями с длинными мульти-значениями в режиме `MDBX_DUPFIXED`. Сообщений о проявлении этой ошибки в эксплуатационных/продуктовых средах не поступало. - Исправление ложной ошибки `MDBX_CORRUPTED (-30796)` в сценарии работы в режиме `MDBX_DUPFIXED` и нечетной длиной мульти-значений. - Исправление недочета корректировки сопутствующих курсоров при разделении страницы по сценарию добавления пустой страницы слева. - Доработка `rebalance()` ради уменьшения WAF. Новый функционал, включая контролируемую пользователем опцию `enum MDBX_option_t`, будет доступен в выпусках ветки `0.13.x`, а в этом выпуске доработка сводится к тактике не-вовленичения чистой страницы при нехватке запаса страниц в ходе обновления GC, за счет ухудшения баланса дерева страниц. - Устранение упущения приводящего к нелогичной ситуации `me_dxb_mmap.curren > me_dxb_mmap.limit` при "дребезге" размера БД. В текущем понимании, последствий кроме срабатывания assert-проверки нет, а вероятность проявления близка к нулю. - Исправление в функционале обхода дерева, используемого утилитой `mdbx_chk`, подсчета места затраченного на выравнивание на вложенной под-странице, в случае нечетного количества dupfixed-элементов нечетного размера. Сообщений о проявлении этой ошибки в эксплуатационных/продуктовых средах не поступало. - Исправление assert-проверки внутри `check_txn()` для случая завершенных транзакций в режиме `MDBX_NO_TLS`. Последствий ошибки, кроме срабатывания assert-проверки в отладочных сборках, нет. - Устранение ошибки при открытии БД на файловой системе только-для-чтения. - Удалены излишне строгие проверки в утилите `mdbx_chk`, которые приводили к ложно-позитивным ошибкам при проверке БД после серии последних доработок. Подробности см в комментариях к коммитам [781b3f64d52b73cbaeb00a55811d1247c25624a8](https://gitflic.ru/project/erthink/libmdbx/commit/781b3f64d52b73cbaeb00a55811d1247c25624a8) и [0741c81cfd8dc0864fcf55e04192b2207c8f68f7](https://gitflic.ru/project/erthink/libmdbx/commit/0741c81cfd8dc0864fcf55e04192b2207c8f68f7). - Ликвидация зависимости от ранее удаленной опции `MDBX_ENABLE_PREFAULT`, из-за чего опция `MDBX_ENABLE_MINCORE` не включалась автоматически, что приводило к не-активации соответствующего улучшения и не-достижению декларируемого уровня производительности в сценариях использования в режиме `MDBX_WRITEMAP`. - Исправление авто-установки `MDBX_ENV_CHECKPID` при отключении использования функционала `madvise()` посредством опции сборки `MDBX_ENABLE_MADVISE=0`. Из-за чего при поддержке системой `madvise(MADV_DONTFORK)` не включался контроль pid. - Добавлена проверка переданного ключа на `NULL` при обработке `MDBX_GET_MULTIPLE`. - Добавлена проверка номеров корневых страниц в `coherency_check()`. - Обеспечен `const` для начала и конца диапазона в аргументах `mdbx_estimate_range()`. - Из разрабатываемой версии перенесены не-нарушающие совместимости доработки C++ API: - добавлен тип `mdbx::cursor::estimation_result`, а поведение методов `cursor::estimate()` унифицировано с `cursor::move()`; - для предотвращения незаметного неверного использования API, для инициализации возвращаемых по ссылке срезов, вместо пустых срезов задействован `slice::invalid()`; - добавлены дополнительные C++ операторы преобразования к типам C API; - для совместимости со старыми стандартами C++ и старыми версиями STL перенесены в public классы `buffer::move_assign_alloc` и `buffer::copy_assign_alloc`; - добавлен тип `mdbx::default_buffer`; - для срезов и буферов добавлены методы `hex_decode()`, `base64_decode()`, `base58_decode()`; - добавлен тип `mdbx::comparator` и функций `mdbx::default_comparator()`; - добавлены статические методы `buffer::hex()`, `base64()`, `base58()`; - для транзакций и курсоров добавлены методы `get_/set_context`; - добавлен метод `cursor::clone()`; - Поддержка base58 приведена в соответствии с черновиком RFC. - Переработка/исправление `to_hex()` и `from_hex()`. - Уменьшение `MDBX_opt_rp_augment_limit` по умолчанию до 1/3 от текущего количества страниц в БД. Более полная информация в [списке изменений libmdbx](https://gitflic.ru/project/erthink/libmdbx/blob?file=ChangeLog.md&branch=stable). --- 28 files changed, 2037 insertions(+), 1049 deletions(-) Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru> -
v0.3.18
fpta: выпуск v0.3.18 Стабильный релиз с исправлением ошибок, мажорным обновлением libmdbx (опорного движка хранения) и изменением API функций связанных со справочником схемы. Исправления и доработки в libfpta: ================================== - Устранена проблема зацикливания читающих транзакций в процессах переполняющих БД: - Исправлена ошибка в логике обработке/отслеживания дескрипторов таблиц становящимися невалидными при асинхронном изменении схемы, из-за которой в ситуации прерывания транзакции из-за переполнения БД производилось ненужное обнуление дескриптора схемы и сброс кэша дескрипторов таблиц. Что являлось триггером для проявления следующей ошибки. - Исправлено упущение в логике инициализации транзакций при отсутствии схемы, что в совокупности с первой ошибкой приводило к циклическому рестарту читающей транзакции в попытках прочитать несуществующую версию схемы БД. - Добавлен юнит-тест воспроизводящий проблему и проверяющий исправление. - Изменение API для возможности использования `std::string_view` и `struct iovec` при получении и передачи имен элементов схемы: - Добавлены функции API принимающие имена объектов в `struct iovec`, что позволяет использовать `std::string_view`. - Изменен тип результата возвращаемого функциями API, связанными со справочником схемы и получения схемы БД в формате JSON. - Несущественные доработки юнит-тестов: - Исправление опечаток. - Установка affinity потоков для более быстрого воспроизведения целевых ситуаций и уменьшения внутренних итераций тестов, что существенно сокращает затрачиваемое время. - Устранены сбои при срабатывании таймаутов на максимальное время выполнения тестов, отдельных тестов. - Устранены несущественные предупреждения новых версий компиляторов и Coverity. - Мажорное обновление libmdbx с `0.11.13.0` на `0.12.6.6`. Исправления и доработки в libmdbx: ================================== Новое: ------ - Реализована prefault-запись при выделении страниц для read-write отображений. Это приводит к кратному снижению системных издержек и существенному увеличению производительности в соответствующих сценариях использования, когда: - размер БД и объём данных существенно больше ОЗУ; - используется режим `MDBX_WRITEMAP`; - не-мелкие транзакции (по ходу транзакции выделяется многие сотни или тысячи страниц). В режиме `MDBX_WRITEMAP` выделение/переиспользование страниц приводит к page-fault и чтению страницы с диска, даже если содержимое страницы не нужно (будет перезаписано). Это является следствием работы подсистемы виртуальной памяти, а штатный способ лечения через `MADV_REMOVE` работает не на всех ФС и обычно дороже получаемой экономии. Теперь в libmdbx используется "упреждающая запись" таких страниц, которая на системах с [unified page cache](https://www.opennet.ru/base/dev/ubc.txt.html) приводит к "вталкиванию" данных, устраняя необходимость чтения с диска при обращении к такой странице памяти. Новый функционал работает в согласованности с автоматическим управлением read-ahead и кэшем статуса присутствия страниц в ОЗУ, посредством [mincore()](https://man7.org/linux/man-pages/man2/mincore.2.html). - Добавлена опция `MDBX_opt_prefault_write_enable` для возможности принудительного включения/выключения prefault-записи. - Реализован динамический выбор между сквозной записью на диск и обычной записью с последующим [fdatasync()](https://man7.org/linux/man-pages/man3/fdatasync.3p.html) управляемый опцией `MDBX_opt_writethrough_threshold`. В долговечных (durable) режимах данные на диск могут быть сброшены двумя способами: - сквозной записью через файловый дескриптор открытый с `O_DSYNC`; - обычной записью с последующим вызовом `fdatasync()`. Первый способ выгоднее при записи малого количества страниц и/или если канал взаимодействия с диском/носителем имеет близкую к нулю задержку. Второй способ выгоднее если требуется записать много страниц и/или канал взаимодействия имеет весомую задержку (датацентры, облака). Добавленная опция `MDBX_opt_writethrough_threshold` позволяет во время выполнения задать порог для динамического выбора способа записи в зависимости от объема и конкретных условия использования. - Автоматическая установка `MDBX_opt_rp_augment_limit` в зависимости от размера БД. - Запрещение разного режима `MDBX_WRITEMAP` между процессами в режимах с отложенной/ленивой записью, так как в этом случае невозможно обеспечить сброс данных на диск во всех случаях на всех поддерживаемых платформах. - Добавлена опция сборки `MDBX_MMAP_USE_MS_ASYNC` позволяющая отключить использование системного вызова `msync(MS_ASYNC)`, в использовании которого нет необходимости на подавляющем большинстве актуальных ОС. По-умолчанию `MDBX_MMAP_USE_MS_ASYNC=0` (выключено) на Linux и других системах с unified page cache. Такое поведение (без использования `msync(MS_ASYNC)`) соответствует неизменяемой (hardcoded) логике LMDB. В результате, в простых/наивных бенчмарках, libmdbx опережает LMDB примерно также как при реальном применении. На всякий случай стоит еще раз отметить/напомнить, что на Windows предположительно libmdbx будет отставать от LMDB в сценариях с множеством мелких транзакций, так как libmdbx осознанно использует на Windows файловые блокировки, которые медленные (плохо реализованы в ядре ОС), но позволяют застраховать пользователей от массы неверных действий приводящих к повреждению БД. - Поддержка не-печатных имен для subDb. - Добавлен явный выбор `tls_model("local-dynamic")` для обхода проблемы `relocation R_X86_64_TPOFF32 against FOO cannot be used with -shared` из-за ошибки в CLANG приводящей к использованию неверного режима `ls_model`. - Изменение тактики слияния страниц при удалении. Теперь слияние выполняется преимущественно с уже измененной/грязной страницей. Если же справа и слева обе страницы с одинаковым статусом, то с наименее заполненной, как прежде. В сценариях с массивным удалением это позволяет увеличить производительность до 50%. - Добавлен контроль отсутствия LCK-файлов с альтернативным именованием. - Добавлена функция `mdbx_env_warmup()` для "прогрева" БД с возможностью закрепления страниц в памяти. В утилиты `mdbx_chk`, `mdbx_copy` и `mdbx_dump` добавлены опции `-u` и `-U` для активации соответствующего функционала. - Отключение учета «грязных» страниц в не требующих этого режимах (`MDBX_WRITEMAP` при `MDBX_AVOID_MSYNC=0`). Доработка позволяет снизить накладные расходы и была запланирована давно, но откладывалась так как требовала других изменений. - Вытеснение из памяти (спиллинг) «грязных» страниц с учетом размера large/overflow-страниц. Доработка позволяет корректно соблюдать политику задаваемую опциями `MDBX_opt_txn_dp_limit`, `MDBX_opt_spill_max_denominator`, `MDBX_opt_spill_min_denominator` и была запланирована давно, но откладывалась так как требовала других изменений. - В API добавлены функции `mdbx_limits_valsize4page_max()` и `mdbx_env_get_valsize4page_max()` возвращающие максимальный размер в байтах значения, которое может быть размещена в одной large/overflow-странице, а не последовательности из двух или более таких страниц. Для таблиц с поддержкой дубликатов вынос значений на large/overflow-страницы не поддерживается, поэтому результат совпадает с `mdbx_limits_valsize_max()`. - В API добавлены функции `mdbx_limits_pairsize4page_max()`и `mdbx_env_get_pairsize4page_max()` возвращающие в байтах максимальный суммарный размер пары ключ-значение для их размещения на одной листовой страницы, без выноса значения на отдельную large/overflow-страницу. Для таблиц с поддержкой дубликатов вынос значений на large/overflow-страницы не поддерживается, поэтому результат определяет максимальный/допустимый суммарный размер пары ключ-значение. - Реализовано использование асинхронной (overlapped) записи в Windows, включая использования небуфферизированного ввода-вывода и `WriteGather()`. Это позволяет сократить накладные расходы и частично обойти проблемы Windows с низкой производительностью ввода-вывода, включая большие задержки `FlushFileBuffers()`. Новый код также обеспечивает консолидацию записываемых регионов на всех платформах, а на Windows использование событий (events) сведено к минимум, одновременно с автоматических использованием `WriteGather()`. Поэтому ожидается существенное снижение накладных расходов взаимодействия с ОС, а в Windows это ускорение, в некоторых сценариях, может быть кратным в сравнении с LMDB. - Добавлена опция сборки `MDBX_AVOID_MSYNC`, которая определяет поведение libmdbx в режиме `MDBX_WRITE_MAP` (когда данные изменяются непосредственно в отображенных в ОЗУ страницах БД): * Если `MDBX_AVOID_MSYNC=0` (по умолчанию на всех системах кроме Windows), то (как прежде) сохранение данных выполняется посредством `msync()`, либо `FlushViewOfFile()` на Windows. На платформах с полноценной подсистемой виртуальной памяти и адекватным файловым вводом-выводом это обеспечивает минимум накладных расходов (один системный вызов) и максимальную производительность. Однако, на Windows приводит к значительной деградации, в том числе из-за того что после `FlushViewOfFile()` требуется также вызов `FlushFileBuffers()` с массой проблем и суеты внутри ядра ОС. * Если `MDBX_AVOID_MSYNC=1` (по умолчанию только на Windows), то сохранение данных выполняется явной записью в файл каждой измененной страницы БД. Это требует дополнительных накладных расходов, как на отслеживание измененных страниц (ведение списков "грязных" страниц), так и на системные вызовы для их записи. Кроме этого, с точки зрения подсистемы виртуальной памяти ядра ОС, страницы БД измененные в ОЗУ и явно записанные в файл, могут либо оставаться "грязными" и быть повторно записаны ядром ОС позже, либо требовать дополнительных накладных расходов для отслеживания PTE (Page Table Entries), их модификации и дополнительного копирования данных. Тем не менее, по имеющейся информации, на Windows такой путь записи данных в целом обеспечивает более высокую производительность. - Улучшение эвристики включения авто-слияния записей GC. - Изменение формата LCK и семантики некоторых внутренних полей. Версии libmdbx использующие разный формат не смогут работать с одной БД одновременно, а только поочередно (LCK-файл переписывается при открытии первым открывающим БД процессом). - В `C++` API добавлены методы фиксации транзакции с получением информации о задержках. - The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions. Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages. Thus avoiding searching, allocating and storing such sequences inside GC. - Improved hot/online validation and checking of database pages both for more robustness and performance. - New solid and fast method to latch meta-pages called `Troika`. The minimum of memory barriers, reads, comparisons and conditional transitions are used. - New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB. - Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences. - Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming. - Copy-with-compactification now clears/zeroes unused gaps inside database pages. - The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames. On Windows the `mdbx_env_openW()`, ``mdbx_env_get_pathW()`()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now, but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`. - Added explicit error message for Buildroot's Microblaze toolchain maintainers. - Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake. - Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug. - A lot internal refinement and micro-optimisations. - Internally counted volume of dirty pages (unused for now but for coming features). Исправления: ------------ - Поправлен экспорт из DSO/DLL устаревших функций, которые заменены на inline в текущем API. - Устранено использование неверного компаратора при создании или пересоздании `MainDB` с флагами/опциями предполагающим использование специфического компаратора (не по-умолчанию). - Добавлено ограничение размера отображения при коротком read-only файле, для предотвращения ошибки ERROR_NOT_ENOUGH_MEMORY в Windows, которая возникает в этом случае и совсем не информативна для пользователя. - Произведен рефакторинг `dxb_resize()`, в том числе, для устранения срабатывания assert-проверки `size_bytes == env->me_dxb_mmap.current` в специфических многопоточных сценариях использования. Проверка срабатывала только в отладочных сборках, при специфическом наложении во времени читающей и пишущей транзакции в разных потоках, одновременно с изменением размера БД. Кроме срабатывание проверки, каких-либо других последствий не возникало. - Устранена проблема в `put(MDBX_UPSERT+MDBX_ALLDUPS)` для случая замены всех значений единственного ключа в subDb. В ходе этой операции subDb становится полностью пустой, без каких-либо страниц и именно эта ситуация не была учтена в коде, что приводило к повреждению БД при фиксации такой транзакции. - Устранена излишняя assert-проверка внутри `override_meta()`. Что в отладочных сборках могло приводить к ложным срабатываниям при восстановлении БД, в том числе при автоматическом откате слабых мета-страниц. - Изменение размера отображения если это требуется для сброса данных на диск при вызове `mdbx_env_sync()` из параллельного потока выполнения вне работающей транзакции. - Исправление регресса после коммита db72763de049d6e4546f838277fe83b9081ad1de от 2022-10-08 в логике возврата грязных страниц в режиме `MDBX_WRITEMAP`, из-за чего освободившиеся страницы использовались не немедленно, а попадали в retired-список совершаемой транзакции и происходил необоснованный рост размера транзакции. - Устранение SIGSEGV или ошибочного вызова `free()` в ситуациях повторного открытия среды посредством `mdbx_env_open()`. - Добавление подсчета грязных страниц в `MDBX_WRITEMAP` для предоставления посредством `mdbx_txn_info()` актуальной информации об объеме изменений в процессе транзакций чтения-записи. - Never use modern `__cxa_thread_atexit()` on Apple's OSes. - Don't check owner for finished transactions. - Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG. Более полная информация в [списке изменений libmdbx](https://gitflic.ru/project/erthink/libmdbx/blob?file=ChangeLog.md&branch=master). 51 files changed, 24173 insertions(+), 14452 deletions(-) Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru> -
v0.4.0
Выпуск с расширением API и новым функционалом. Исправления и доработки в libfpta: ---------------------------------- - Изменение API с нарушением совместимости: * Использование `struct iovec` и/или `fptu::string_view` для имен fptu-символов вместо терминированных нулем C-строк; * Функции libfptu (кортежи) сериализации в JSON теперь принимают имена символов в `struct iovec`; * Функции libfpta возвращающие собственные/встроенные символы схемы БД для её экспорта в JSON теперь возвращают имена в `struct iovec`. В целом эти изменения не затрагивают основной функционал libfpta, но позволяют использовать API схемы fpta для экспорта данных БД в JSON. - Расширение API libfpta с сохранением устаревших функций для совместимости: * Использование `struct iovec` и/или `fptu::string_view` для имен fptа-символов вместо терминированных нулем C-строк; * Продублированы функции получающие терминированные нулем C-строки в качестве параметров связанных с именами в схеме данных, для всех таких функций добавлен вариант с суффиксом 2, который принимает `const struct iovec` вместо `const char*`; - Исправление неожиданной ошибки `FPTA_ENOSPACE` от `fpta_schema_render()` в редких случаях. - Обновление libmdbx до 0.12.2 (первый стабильный выпуск новой ветки 0.12), доработок очень много. - Совместимость с CMake 3.0.2 для возможности сборки (и прогона тестов) на старых системах и компиляторах. - Исправления для предотвращения таймаута тестов, в том числе при параллельном запуске, в том числе на Windows. - Удаление забытых упоминаний Github. Исправления и доработки в libmdbx: ---------------------------------- - Добавлена функция `mdbx_env_warmup()` для "прогрева" БД с возможностью закрепления страниц в памяти. В утилиты `mdbx_chk`, `mdbx_copy` и `mdbx_dump` добавлены опции `-u` и `-U` для активации соответствующего функционала. - Реализовано использование асинхронной (overlapped) записи в Windows, включая использования небуфферизированного ввода-вывода и `WriteGather()`. Это позволяет сократить накладные расходы и частично обойти проблемы Windows с низкой производительностью ввода-вывода, включая большие задержки `FlushFileBuffers()`. Новый код также обеспечивает консолидацию записываемых регионов на всех платформах, а на Windows использование событий (events) сведено к минимум, одновременно с автоматических использованием `WriteGather()`. Поэтому ожидается существенное снижение накладных расходов взаимодействия с ОС, а в Windows это ускорение, в некоторых сценариях, может быть кратным в сравнении с LMDB. - The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions. Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages. Thus avoiding searching, allocating and storing such sequences inside GC. - Improved hot/online validation and checking of database pages both for more robustness and performance. - New solid and fast method to latch meta-pages called `Troika`. The minimum of memory barriers, reads, comparisons and conditional transitions are used. - New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB. - Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences. - The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames. On Windows the `mdbx_env_openW()`, ``mdbx_env_get_pathW()`()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now, but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`. - Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug. Более полная информация в [списке изменений libmdbx](https://github.com/erthink/libmdbx/blob/master/ChangeLog.md). 86 files changed, 18951 insertions(+), 12098 deletions(-) Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru> -
v0.3.17
Стабильный релиз с исправлением ошибок. Исправления и доработки в libfpta: ---------------------------------- - Исправление неожиданной ошибки `FPTA_ENOSPACE` от `fpta_schema_render()` в редких случаях. - Обновление libmdbx до 0.11.13 (последний релиз в стабильной ветке 0.11.x). - Совместимость с CMake 3.0.2 для возможности сборки (и прогона тестов) на старых системах и компиляторах. - Исправления для предотвращения таймаута тестов, в том числе при параллельном запуске, в том числе на Windows. - Удаление забытых упоминаний Github. Исправления и доработки в libmdbx: ---------------------------------- - Fixed builds with older `stdatomic.h` versions, where the `ATOMIC_*_LOCK_FREE` macros mistakenly redefined using functions. - Added workaround for `mremap()` defect to avoid assertion failure. - Workaround for `encryptfs` bug(s) in the `copy_file_range` implementation. - Fixed unexpected `MDBX_BUSY` from `mdbx_env_set_option()`, `mdbx_env_set_syncbytes()` and `mdbx_env_set_syncperiod()`. - Fixed static assertion failure on platforms where the `off_t` type is wider than corresponding fields of `struct flock` used for file locking. Now _libmdbx_ will use `fcntl64(F_GETLK64/F_SETLK64/F_SETLKW64)` if available. - Fixed assertion check inside `page_retire_ex()`. - Fixed an extra check for `MDBX_APPENDDUP` inside `mdbx_cursor_put()` which could result in returning `MDBX_EKEYMISMATCH` for valid cases. - Fixed an extra ensure/assertion check of `oldest_reader` inside `mdbx_txn_end()`. - Fixed derived C++ builds by removing `MDBX_INTERNAL_FUNC` for `mdbx_w2mb()` and `mdbx_mb2w()`. - Never use modern `__cxa_thread_atexit()` on Apple's OSes. - Use `MultiByteToWideChar(CP_THREAD_ACP)` instead of `mbstowcs()`. - Don't check owner for finished transactions. - Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG. Более полная информация в [списке изменений libmdbx](https://github.com/erthink/libmdbx/blob/master/ChangeLog.md). 79 files changed, 2055 insertions(+), 871 deletions(-) Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
-
v0.3.16
The stable bugfix release. New: - The `fpta_value_str(const std::string &)` has been removed to avoid accidental misuse, which leads to dereference of dangling pointers to `std::string` internals from `fpta_value` instances. Please use the `fpta_value_str(const std::string *)` or `fpta_value_str(const fptu::string_view&)` instead of it. - libmdbx updated to v0.11.6. Please refer to the [libmdbx' ChangeLog](https://github.com/erthink/libmdbx/blob/master/ChangeLog.md) for more information. Fixes: - Fixed hang copy-with-compactification of a corrupted DB or in case the volume of output pages is a multiple of `MDBX_ENVCOPY_WRITEBUF`. - Fixed standalone non-CMake build on MacOS (`#include AvailabilityMacros.h>`). - Fixed unexpected `MDBX_PAGE_FULL` error in rare cases with large database page sizes. - Fixed copy&paste typo inside `meta_checktxnid()`. - Minor fix `mdbx_env_set_geometry()` to avoid returning `EINVAL` in particular rare cases. - Minor refine/fix batch-get testcase for large page size. - Fixed schema memory leak in case `FPTA_APP_MISMATCH` error. - Fixed insignificant ASAN issue inside tests. 26 files changed, 290 insertions(+), 167 deletions(-) Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
-
v0.3.15
The stable release with the new implementation of internal DBI-handles cache. 82 files changed, 21842 insertions(+), 12684 deletions(-) New: - Reworked DBI-handles cache to avoid `FPTA_BAD_DBI` error (but `FPTA_SCHEMA_CHANGED` or `FPTA_TARDY_DBI` instead). - Added schema cache. - Added ability to open DB in without-LCK (exclusive read-only) mode in case no permissions to create/write LCK-file. - Removed "the 42" limit of readers (use default value of `MDBX_opt_max_readers` that > 100 on most platforms). - Support for Android, macOS and non-x86 Windows. - Based on libmdbx v0.11.8. Fixes: - Fixed copy&paste bug with could lead to `SIGSEGV` (nullptr dereference) in the exclusive/no-lck mode. - Fixed `SIGSEGV` regression in without-LCK (exclusive read-only) mode. - Fixed `mdbx_check_fs_local()` for CDROM case on Windows. - Fixed nasty typo of typename which caused false `MDBX_CORRUPTED` error in a rare execution path, when the size of the thread-ID type not equal to 8. - Fixed write-after-free memory corruption on latest `macOS` during finalization/cleanup of thread(s) that executed read transaction(s). > The issue was suddenly discovered by a [CI](https://en.wikipedia.org/wiki/Continuous_integration) > after adding an iteration with macOS 11 "Big Sur", and then reproduced on recent release of macOS 12 "Monterey". > The issue was never noticed nor reported on macOS 10 "Catalina" nor others. > Analysis shown that the problem caused by a change in the behavior of the system library (internals of dyld and pthread) > during thread finalization/cleanup: now a memory allocated for a `__thread` variable(s) is released > before execution of the registered Thread-Local-Storage destructor(s), > thus a TLS-destructor will write-after-free just by legitime dereference any `__thread` variable. > This is unexpected crazy-like behavior since the order of resources releasing/destroying > is not the reverse of ones acquiring/construction order. Nonetheless such surprise > is now workarounded by using atomic compare-and-swap operations on a 64-bit signatures/cookies. - Fixed UBSAN warnings. - Fixed Elbrus/E2K LCC 1.26 compiler warnings (memory model for atomic operations, etc). - Fixed warnings while build by MinGW, MSVC 2022, CLANG 14, CLANG 15, GCC 12. - Fixed non-x86 Windows builds. Please refer to the Git' log and [libmdbx' ChangeLog](https://github.com/erthink/libmdbx/blob/master/ChangeLog.md) for more information. Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
-
v0.3.14
The stable release with the complete workaround for an incoherence flaw of Linux unified page/buffer cache. Nonetheless the cause for this trouble may be an issue of Intel CPU cache/MESI. See [libmdbx' issue#269](https://github.com/erthink/libmdbx/issues/269) for more information. New: - Added `GTEST_CLONE_URL` CMake's variable to override GoogteTest download Git repo URL. - Added logging support (built-in proxy for libmdbx). Fixes: - [Complete workaround](https://github.com/erthink/libmdbx/issues/269) for an incoherence flaw of Linux unified page/buffer cache. - Fixed transaction leak (not-an-abortion) when schema load failed. Please refer to the Git' log and [libmdbx' ChangeLog](https://github.com/erthink/libmdbx/blob/master/ChangeLog.md) for more information. Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
-
v0.2.12
The stable release of `0.2 branch` with the complete workaround for an incoherence flaw of Linux unified page/buffer cache. Nonetheless the cause for this trouble may be an issue of Intel CPU cache/MESI. See [libmdbx' issue#269](https://github.com/erthink/libmdbx/issues/269) for more information. New: - Added `GTEST_CLONE_URL` CMake's variable to override GoogteTest download Git repo URL. - Added logging support (built-in proxy for libmdbx). Fixes: - [Complete workaround](https://github.com/erthink/libmdbx/issues/269) for an incoherence flaw of Linux unified page/buffer cache. - Fixed transaction leak (not-an-abortion) when schema load failed. Please refer to the Git' log and [libmdbx' ChangeLog](https://github.com/erthink/libmdbx/blob/master/ChangeLog.md) for more information. Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
-
v0.3.13
The stable release with fixes for large and huge databases sized of 4..128 TiB. libfpta important changes: -------------------------- - [Fixed](https://github.com/erthink/t1ha/issues/45) unaligned access inside the `t1ha` hash functions on ARM. libmdbx important changes: -------------------------- ### v0.11.4.1 at 2022-02-02: - Fixed handling `MDBX_opt_rp_augment_limit` for GC's records from huge transactions. - [Fixed](https://github.com/erthink/libmdbx/issues/258) build on Android (avoid including `sys/sem.h`). - [Fixed](https://github.com/erthink/libmdbx/pull/261) missing copy assignment operator for `mdbx::move_result`. - Fixed missing `&` for `std::ostream &operator<<()` overloads. - Fixed unexpected `EXDEV` (Cross-device link) error from `mdbx_env_copy()`. - Fixed base64 encoding/decoding bugs in auxillary C++ API. - Fixed overflow of `pgno_t` during checking PNL on 64-bit platforms. - [Fixed](https://github.com/erthink/libmdbx/issues/260) excessive PNL checking after sort for spilling. - Reworked checking `MAX_PAGENO` and DB upper-size geometry limit. - [Fixed](https://github.com/erthink/libmdbx/issues/265) build for some combinations of versions of MSVC and Windows SDK. #### Minors: - Added workaround for CLANG bug [D79919/PR42445](https://reviews.llvm.org/D79919). - Fixed minor `unused parameter` warning. - Refine/cleanup internal logging. - Refined line splitting inside hex/base58/base64 encoding to avoid `\n` at the end. - Added workaround for modern libstdc++ with CLANG < 4.x - Relaxed txn-check rules for auxiliary functions. - Clarified a comments and descriptions, etc. - Using the `-fno-semantic interposition` option to reduce the overhead to calling self own public functions. ### v0.11.3 at 2021-12-31: - Disabled C++20 concepts for stupid AppleClang 13.x - Fixed internal collision of `MDBX_SHRINK_ALLOWED` with `MDBX_ACCEDE`. #### Minors: - Fixed returning `MDBX_RESULT_TRUE` (unexpected -1) from `mdbx_env_set_option()`. - Added `mdbx_env_get_syncbytes()` and `mdbx_env_get_syncperiod()`. - [Clarified](https://github.com/erthink/libmdbx/pull/249) description of `MDBX_INTEGERKEY`. - Reworked/simplified `mdbx_env_sync_internal()`. - [Fixed](https://github.com/erthink/libmdbx/issues/248) extra assertion inside `mdbx_cursor_put()` for `MDBX_DUPFIXED` cases. - Avoiding extra looping inside `mdbx_env_info_ex()`. - Explicitly enabled core dumps from stochastic tests scripts on Linux. - [Fixed](https://github.com/erthink/libmdbx/issues/253) `mdbx_override_meta()` to avoid false-positive assertions. - For compatibility reverted returning `MDBX_ENODATA`for some cases. Please refer to the [ChangeLog](https://github.com/erthink/libmdbx/blob/master/ChangeLog.md) for more historical information and actual TODOs.
-
v0.3.12
fpta release v0.3.12 libfpta's important changes: ---------------------------- - Rewritting filters to actually hollow `fpta_filter_none` without open underlying cursor. - Rewritting filters instead of returning `FPTA_ETYPE`. - Resolved all warnings and build errors for all actual version of GCC and CLANG compilers. - Fixed test for 32-bit builds. - Refactoring `fpta_name_refresh_filter()` and related functions to avoid refresh-overhead. - Resolved all UB shown by UBSAN, unclugin unaligned access. libmdbx's important changes: ---------------------------- Backward compatibility break: The database format signature has been changed to prevent forward-interoperability with an previous releases, which may lead to a [false positive diagnosis of database corruption](https://github.com/erthink/libmdbx/issues/238) due to flaws of an old library versions. This change is mostly invisible: - previously versions are unable to read/write a new DBs; - but the new release is able to handle an old DBs and will silently upgrade ones. ### v0.11.2.22 at 2021-12-13: - Fixed internal collision of `MDBX_SHRINK_ALLOWED` with `MDBX_ACCEDE`. - Fixed returning `MDBX_RESULT_TRUE` (unexpected -1) from `mdbx_env_set_option()`. - [Fixed](https://github.com/erthink/libmdbx/issues/248) extra assertion inside `mdbx_cursor_put()` for `MDBX_DUPFIXED` cases. - [Fixed](https://github.com/erthink/libmdbx/issues/253) `mdbx_override_meta()` to avoid false-positive assertions. ### v0.11.2 at 2021-12-02: - [Fixed unexpected `MDBX_PROBLEM` error](https://github.com/erthink/libmdbx/issues/242) because of update an obsolete meta-page. - [Fixed returning `MDBX_NOTFOUND` error](https://github.com/erthink/libmdbx/issues/243) in case an inexact value found for `MDBX_GET_BOTH` operation. ### v0.11.1 at 2021-10-23: - Fixed unaligned access regression after the `#pragma pack` fix for modern compilers. - Fixed possibility of meta-pages clashing after manually turn to a particular meta-page using `mdbx_chk` utility. ### v0.10.4 at 2021-10-10: - Fixed possibility of looping update GC during transaction commit (no public issue since the problem was discovered inside [Positive Technologies](https://www.ptsecurity.ru)). - In debugging builds fixed a too small (single page) by default DB shrink threshold. ### v0.10.3 at 2021-08-27: - Always setup `madvise` while opening DB (fixes https://github.com/erthink/libmdbx/issues/231). - Fixed checking legacy `P_DIRTY` flag (`0x10`) for nested/sub-pages. ### v0.10.2 at 2021-07-26: - [Allow to predefine/override `MDBX_BUILD_TIMESTAMP` for builds reproducibility](https://github.com/erthink/libmdbx/issues/201). - Avoided `MDBX_TXN_FULL` error for large transactions when possible. - The `MDBX_READERS_LIMIT` increased to `32767`. - `mdbx_chk` now skips iteration & checking of DB' records if corresponding page-tree is corrupted (to avoid `SIGSEGV`, ASAN failures, etc). - Added more checks for [rare/fuzzing corruption cases](https://github.com/erthink/libmdbx/issues/217). - Fixed excess meta-pages checks in case `mdbx_chk` is called to check the DB for a specific meta page and thus could prevent switching to the selected meta page, even if the check passed without errors. - Fixed [recursive use of SRW-lock on Windows cause by `MDBX_NOTLS` option](https://github.com/erthink/libmdbx/issues/203). - Fixed [log a warning during a new DB creation](https://github.com/erthink/libmdbx/issues/205). - Fixed [false-negative `mdbx_cursor_eof()` result](https://github.com/erthink/libmdbx/issues/207). - Fixed [`make install` with non-GNU `install` utility (OSX, BSD)](https://github.com/erthink/libmdbx/issues/208). - Fixed [installation by `CMake` in special cases by complete use `GNUInstallDirs`'s variables](https://github.com/erthink/libmdbx/issues/209). - Fixed [C++ Buffer issue with `std::string` and alignment](https://github.com/erthink/libmdbx/issues/191). - Fixed `safe64_reset()` for platforms without atomic 64-bit compare-and-swap. - Fixed hang/shutdown on big-endian platforms without `__cxa_thread_atexit()`. - Fixed [using bad meta-pages if DB was partially/recoverable corrupted](https://github.com/erthink/libmdbx/issues/217). - Fixed `bootid` generation on Windows for case of change system' time. - Fixed [test framework keygen-related issue](https://github.com/erthink/libmdbx/issues/127). ### v0.10.1 at 2021-06-01: - Added `-p` option to `mdbx_stat` utility for printing page operations statistic. - Added fallback from [OFD locking](https://bit.ly/3yFRtYC) to legacy non-OFD POSIX file locks on an `EINVAL` error. - Added [Plan 9](https://en.wikipedia.org/wiki/9P_(protocol)) network file system to the whitelist for an ability to open a DB in exclusive mode. - Support for opening from WSL2 environment a DB hosted on Windows drive and mounted via [DrvFs](https://docs.microsoft.com/it-it/archive/blogs/wsl/wsl-file-system-support#drvfs) (i.e by Plan 9 noted above). - Fixed confusing/messy errors when build library from unfit github's archives (https://github.com/erthink/libmdbx/issues/197). - Fixed `#elsif` typo. - Fixed rare unexpected `MDBX_PROBLEM` error during altering data in huge transactions due to wrong spilling/oust of dirty pages (https://github.com/erthink/libmdbx/issues/195). - Re-Fixed WSL1/WSL2 detection with distinguishing (https://github.com/erthink/libmdbx/issues/97).
-
v0.2.11
libfpta release v0.2.11 Backward compatibility break: ----------------------------- The database format signature has been changed to prevent forward-interoperability with an previous releases, which may lead to a [false positive diagnosis of database corruption](https://github.com/erthink/libmdbx/issues/238) due to flaws of an old library versions. This change is mostly invisible: - previously versions are unable to read/write a new DBs; - but the new release is able to handle an old DBs and will silently upgrade ones.
-
v0.3.11
libfpta release v0.3.11 Backward compatibility break: ----------------------------- The database format signature has been changed to prevent forward-interoperability with an previous releases, which may lead to a [false positive diagnosis of database corruption](https://github.com/erthink/libmdbx/issues/238) due to flaws of an old library versions. This change is mostly invisible: - previously versions are unable to read/write a new DBs; - but the new release is able to handle an old DBs and will silently upgrade ones.
-
v0.3.10
libfpta release v0.3.10 Fixes: - Fixed unaligned access regression after the `#pragma pack` fix for modern compilers. - Added UBSAN-test to CI to avoid a regression(s) similar to lately fixed. - Fixed possibility of meta-pages clashing after manually turn to a particular meta-page using `mdbx_chk` utility. Minors: - Refined handling of weak or invalid meta-pages while a DB opening. - Refined providing information for the @MAIN and @GC sub-databases of a last committed modification transaction's ID. Signed-off-by: Leonid Yuriev <leo@yuriev.ru>