igor-arkhipov/performance-improvement-2#103
Open
IgorArkhipov wants to merge 6 commits intohardcode-dev:masterfrom
Open
igor-arkhipov/performance-improvement-2#103IgorArkhipov wants to merge 6 commits intohardcode-dev:masterfrom
IgorArkhipov wants to merge 6 commits intohardcode-dev:masterfrom
Conversation
spajic
approved these changes
Nov 8, 2023
| - какой отчёт показал главную точку роста | ||
| * после того, как предыдущие итерации оптимизации снизили сложность алгоритма до линейного, стало возможным запускать бенчмарк и профилировщики на полном наборе данных. | ||
| * бенчмарк показал MEMORY USAGE: 1245 MB, Finished in 10.06 | ||
| * memory_profiler показал MEMORY USAGE: 7188 MB, Total allocated: 3.55 GB (43771136 objects), Total retained: 40.00 B (1 objects) |
Collaborator
There was a problem hiding this comment.
само наличие memory_profiler раздувает память, потому что он держит в памяти кучу всего для построения отчёта. Надо всегда разделять профилирование и замеры
| - как изменилась метрика | ||
| * MEMORY USAGE: 33 MB, Finished in 7.69 | ||
| - как изменился отчёт профилировщика | ||
| * скриншот из valgrind_massif показал, что в пике во время обработки файла со всеми данными использование памяти не выходит за рамки 37,1 MB |
Collaborator
There was a problem hiding this comment.
да, то, что надо; самое приятное, что так можно файл любого объёма переварить, или даже стрим, у которого неизвестно где конец будет
| В результате проделанной оптимизации наконец удалось обработать файл с данными. | ||
| Удалось улучшить метрику системы со 103 MB при 10.000 строк из исходного файла до 37 MB при всем объеме строк из data_large и уложиться в заданный бюджет. | ||
|
|
||
| Время выполнения обработки исходного файла с данными на полном объеме строк составило почти в 2 раза меньше времени, чем в первом задании с оптимизацией по вычислительной мощности. |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
2 participants
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Checklist
memory_profilerruby-profв режимеFlat;ruby-profв режимеGraph;ruby-profв режимеCallStack;ruby-profв режимеCallTreec визуализацией вQCachegrind;stackprof;flamegraphс помощьюstackprofи визуализировать его вspeedscope.app;valgrind massif visualierи включить скриншот в описание вашегоPR;