1. Введение

Современный цифровой мир характеризуется беспрецедентным ростом объемов генерируемых данных, что создает актуальную потребность в разработке эффективных методов их визуального представления. Грамотная визуализация статистических данных не только помогает выявить скрытые закономерности и взаимосвязи, но и значительно облегчает процесс аналитики, делая сложную информацию доступной для восприятия различными категориями пользователей. Однако многие существующие подходы к визуализации зачастую не учитывают когнитивные особенности человеческого восприятия информации, что может приводить к серьезным искажениям передаваемой информации и принятию ошибочных решений на ее основе.

Основной целью представленного исследования является разработка комплексного методологического подхода к визуальному представлению статистических данных в среде Jupyter Notebook. Данный подход включает многогранный анализ существующих методов визуализации с точки зрения их эффективности и наглядности, разработку оптимизированных цветовых схем и композиционных решений, создание интерактивных элементов для углубленного анализа данных, а также формулирование практических рекомендаций по выбору типа визуализации в зависимости от специфики данных и решаемых аналитических задач.

Jupyter Notebook представляет собой современную интерактивную веб-среду для работы с кодом и данными, которая открывает принципиально новые возможности для создания динамических и интерактивных визуализаций [1], [2]. Его уникальность заключается в эффективном сочетании вычислительной мощности языков программирования (преимущественно Python) с интуитивно понятным интерфейсом, что делает данную платформу идеальным решением для исследовательской работы с данными различной сложности и объема.

2. Анализ современных методов визуализации статистических данных

Визуальное представление данных играет ключевую роль в современной аналитике, существенно облегчая процесс понимания и анализа сложных информационных массивов. Среди наиболее значимых преимуществ грамотной визуализации можно выделить несколько фундаментальных аспектов. Во-первых, она значительно упрощает восприятие сложной информации, преобразуя абстрактные числовые данные в наглядные графические образы

[3][4]

Ярким примером эффективной визуализации может служить анализ динамики акций компании NVIDIA Corporation. Графическое представление данных позволяет не только оценить общий рост компании за продолжительный период времени, но и идентифицировать ключевые моменты значительных изменений. Например, резкий скачок стоимости акций в конце 2023 года наглядно демонстрирует реакцию рынка на увеличение спроса на вычислительные мощности, связанные с развитием технологий искусственного интеллекта. Такая визуализация предоставляет заинтересованным сторонам — инвесторам, аналитикам и другим участникам рынка — возможность моментально оценить текущее состояние компании и перспективы ее развития, делая обоснованные выводы на основе одного графика (рис. 1).[5][6]

Традиционно популярный Excel, несмотря на свою распространенность и привычный интерфейс, показывает серьезные ограничения при работе с большими объемами данных. При превышении порога в 600000 записей проявляются существенные проблемы: экспоненциальный рост времени обработки операций, частые сбои и зависания при выполнении фильтрации и агрегации данных, а также принципиальная невозможность построения сложных многоуровневых визуализаций. Эти ограничения делают Excel малопригодным для современной работы с большими данными, где требуются производительные и надежные инструменты анализа.

3. Принципы эффективной визуализации в Jupyter Notebook

Разработка эффективных визуализаций в Jupyter Notebook требует соблюдения ряда фундаментальных принципов, основанных на особенностях человеческого восприятия и когнитивной психологии. Логика визуализации должна начинаться с четкого определения цели

—[7]

Выбор цветовой палитры является критически важным аспектом эффективной визуализации. Цвета оказывают значительное влияние на восприятие информации и должны использоваться осмысленно и последовательно. Общепринятой практикой является использование зеленого цвета для обозначения положительных аспектов и красного

—[8][9]

Размер и читаемость текстовых элементов играют критическую роль в эффективности визуализации. При подготовке презентационных материалов необходимо обеспечивать максимальную читаемость текста для всех участников, включая тех, кто находится на значительном удалении от экрана. Практика показывает, что использование слишком мелкого шрифта приводит к затруднениям в восприятии информации, в то время как крупный шрифт редко вызывает жалобы. Это особенно важно в академической среде, где презентации часто содержат специальные термины, формулы и статистические данные. Рекомендуется проводить предварительное тестирование читаемости материалов в условиях, максимально приближенных к реальным, чтобы обеспечить комфортное восприятие информации всеми читателями (рис. 2).Принцип максимальной простоты предполагает устранение всех отвлекающих и не несущих смысловой нагрузки элементов. Следует избегать излишних украшений, сложных визуальных эффектов и декоративных деталей, которые не добавляют ценности содержанию. Часто даже простые двумерные графики позволяют эффективно передавать информацию, облегчая ее восприятие и обработку. Примером излишне усложненной визуализации может служить круговая диаграмма с трехмерным оформлением и неудачно подобранной цветовой палитрой, где 3D-эффекты [10], [11] искажают визуальное восприятие размеров сегментов, а недостаточная контрастность цветов затрудняет интерпретацию данных (рис. 3,4).

4. Функционал Jupyter Notebook: библиотеки Plotly и Matplotlib

Процесс работы в Jupyter Notebook начинается с загрузки данных из различных источников: CSV-файлов, таблиц Excel, баз данных SQL/PostgreSQL или веб-API. После загрузки данные проходят этапы очистки, преобразования и анализа с использованием специализированных библиотек, а конечным этапом является визуализация результатов для наглядного представления выявленных закономерностей

[12]

Библиотека Plotly — это современный инструмент для интерактивной визуализации данных, который гармонично интегрируется в аналитический рабочий процесс Jupyter. Ключевое преимущество – возможность динамического взаимодействия с графиками непосредственно в ячейках, что значительно ускоряет исследовательский процесс. В отличие от статических решений, Plotly позволяет менять масштаб, скрывать/показывать элементы и выделять участки графиков, что особенно ценно при работе со сложными статистическими зависимостями (листинг 1, рис. 5).

Листинг 1. Код для построения линейного графика

—

Листинг 2. Код для построения сложного линейного графика

Анимации в Plotly создаются через последовательное отображение фреймов (листинг 3, рис. 7,8).

Листинг 3. Код для построения сложного линейного графика

—[13][14]

Листинг 4. Код для построения графика с исп. Seabon

Данный подход позволяет наглядно оценить различия в характере зависимостей между анализируемыми переменными для разных групп наблюдений, выявить аномальные значения, а также сравнить углы наклона регрессионных прямых (рис. 9).

[15][16]

Листинг 5. Код для подготовки данных

После подготовки данных можно приступить к построению гистограммы с использованием Matplotlib. Создается фигура и оси, после чего добавляется гистограмма с помощью метода bar (листинг 6, 7; рис. 10, 11).

Листинг 6. Код для подготовки визуализации

Листинг 7. Добавление цветовых патчей

Обе библиотеки эффективно интегрируются с Pandas, обеспечивая работу с разнообразными типами данных. Plotly ориентирована на динамическое взаимодействие, а Matplotlib предоставляет точные инструменты для научной графики, что делает их мощным комбинированным решением для анализа данных [17].

5. Оптимизация работы с данными и визуализация больших массивов

Оптимизация работы с данными критически важна для повышения продуктивности, особенно при анализе больших наборов данных. Масштабируемость в Data Science напрямую связана с возможностью параллельной обработки данных, что позволяет распределять нагрузку между несколькими ядрами процессора.

В языке Python для параллельных вычислений обычно используется модуль multiprocessing, однако в Jupyter Notebook его применение нередко вызывает затруднения из-за конфликтов при управлении дочерними процессами. В таких случаях удобной альтернативой является библиотека Joblib, которая обеспечивает параллельное выполнение задач за счёт фоновых процессов, работающих независимо от основного процесса Jupyter

[18][19]

Для демонстрации анализа задач с длительным временем выполнения можно использовать алгоритмы с высокой временной сложностью, такие как

««—

Средняя временная сложность составляет O((n+1)!) из-за вероятностной природы алгоритма, что означает факториальное количество операций для сортировки массива из n элементов. Фактическое время выполнения может варьироваться из-за случайного характера перемешивания

[21][22]

После загрузки необходимых библиотек реализуем алгоритм «monkey sort на Python (листинг 8).

Листинг 8. Код алгоритма monkey sort

Для проведения тестирования гипотез и анализа данных требуется создание набора тестовых данных. В данном исследовании генерируется двумерный массив, содержащий 1000 наборов данных, каждый из которых включает 8 случайно расположенных целочисленных значений (листинг 9).

Листинг 9. Набор тестовых данных

Проверить работу алгоритма можно на этом наборе данных, для учета времени используем встроенную функцию Python%%time (рис. 12).

Используется библиотека Joblib в сочетании с лямбда-функциями Python, что позволяет эффективно выполнять вычисления без изоляции процессов и последующей синхронизации с общей очередью сбора данных. Joblib автоматически разделяет данные и собирает результаты через класс Parallel, распараллеливая задачи между ядрами процессора без необходимости явного управления процессами (рис. 13).Применение параллельных вычислений ускорило обработку в 6 раз (с 272 секунд до 44.9).

6. Визуализация больших данных в Jupyter Notebook

Традиционные приложения типа Excel демонстрируют ограничения при работе с большими данными (>600000 записей): экспоненциальный рост времени обработки, частые сбои и невозможность построения сложных визуализаций (рис. 14).

Кроме того, Excel может выводить неполную информацию без ошибок, что ограничивает его использование для анализа больших данных (рис. 15).

Листинг 10. Подключение к PostgreSQL в Jupyter notebook

Листинг 11. Подключение к PostgreSQL в Jupyter notebook.

В результате обработки данных удалось успешно построить график распределения возрастов, включающий все 1 миллион элементов. Процесс обработки и создания графика (рис. 16) занял всего одну минуту реального времени, что демонстрирует эффективность используемых методов и инструментов для работы с большими объемами данных.

С помощью SQL-запроса были извлечены данные о возрасте, уровне образования и среднем доходе из таблицы citizens. Запрос включал группировку данных по возрасту и уровню образования, а также вычисление среднего дохода для каждой группы (листинг 12).

Листинг 12. Извлечение данных

Для визуализации данных был использован модуль plotly.graph_objects, который позволяет создавать интерактивные графики. В частности, был создан 3D-график рассеяния, где по осям X, Y и Z отображаются возраст, уровень образования и средний доход соответственно (листинг 13).

Листинг 13. Код для построения 3D графика

3D-график, отображающий распределение данных о возрасте, уровне образования и среднем доходе. График позволяет наглядно оценить взаимосвязь между этими параметрами и выявить возможные закономерности и тенденции. Использование интерактивных возможностей Plotly позволяет исследователям динамически взаимодействовать с графиком, изменяя угол обзора и масштаб, что значительно облегчает процесс анализа и интерпретации данных (рис. 17).

Архитектурная оптимизация (сервер БД выполняет ресурсоемкие операции, Jupyter обеспечивает визуализацию) позволяет эффективно работать с выборками >1 млн. записей.

7. Автоматизация отчетов и практическое применение методики

Jupyter Notebook поддерживает развитую систему экспорта результатов в различные форматы, что обеспечивает удобное и профессиональное представление данных для разных аудиторий. Инструмент nbconvert предоставляет широкие возможности преобразования файлов .ipynb в разнообразные выходные форматы, адаптированные под конкретные потребности и сценарии использования.

В академической и научной среде Jupyter Notebook зарекомендовал себя как незаменимый инструмент для подготовки воспроизводимых публикаций. Поддержка экспорта в форматы PDF и LaTeX позволяет исследователям создавать материалы, полностью соответствующие строгим требованиям рецензируемых научных журналов. Особую ценность представляет сохранение математических формул в нотации LaTeX, что обеспечивает корректное и профессиональное оформление сложных теоретических выкладок и математических моделей.

Для образовательных целей особенно востребован экспорт в HTML, который позволяет формировать интерактивные учебные материалы с сохранением визуализаций и возможностью демонстрации вычислительных процессов. При подготовке докладов и представлении результатов на научных конференциях формат Reveal.js открывает широкие возможности для создания динамичных веб-презентаций, объединяющих программный код, графические иллюстрации и пояснительный текст в едином интерактивном пространстве.

Для документирования аналитических моделей и методик особенно полезен экспорт в формат Markdown, который упрощает интеграцию с системами управления знаниями и обеспечивает возможность версионного контроля посредством платформ наподобие Git. В бизнес-среде востребован экспорт визуализаций в PNG и PDF форматы, что позволяет создавать высококачественные графики и диаграммы для отчетов и презентаций (рис. 18,19).

Для реализации задачи данные были преобразованы из исходного формата в Excel таблицу, а затем в CSV формат для последующей загрузки в Jupyter Notebook. Процесс обработки включал переименование столбцов для удобства работы, заполнение пропущенных значений и создание дополнительного параметра

«с

Визуализация была реализована с использованием библиотеки Matplotlib, что позволило создать всеобъемлющий график, отображающий три ключевых параметра одновременно. По оси X отображался номер измерения, по оси Y — среднее время выполнения метода в наносекундах. Размер точек визуализировал объем выделенной памяти при конкретном вызове метода, вертикальные линии показывали стандартное отклонение, а цвет точек отражал суммарную «сложность рекурсии. Такое многомерное представление данных позволило наглядно продемонстрировать зависимость времени выполнения метода от числа рекурсивных вызовов и оценить влияние различных параметров на производительность и использование памяти.

8. Практическое применение: визуализация данных в Jupyter Notebook

Jupyter Notebook предоставляет широкие возможности для визуализации данных, включая работу с табличной информацией из различных источников. На рисунке 20 показан пример типовых данных, импортированных в рабочую среду.Для создания визуализаций используется библиотека Plotly, которая позволяет легко создавать интерактивные графики. Пример создания круговой диаграммы представлен в листинге 14.

Листинг 14. Код для создания круговой диаграммы

Этот фрагмент демонстрирует, насколько легко и удобно можно создавать и работать с круговыми диаграммами в Jupyter Notebook (рис. 21).

Листинг 15. Код для создания круговой диаграммы с выделенным сектором

Листинг 16. Код для создания круговой диаграммы без центральной части

Листинг 17. Код для загрузки данных в Jupyter notebook

Листинг 18. Код для создания основного графика

В первом блоке создается точечная диаграмма с возможностью настраивать размер точек, их цвет, прозрачность. Второй блок добавляет вертикальные линии внутри точек (кругов). Завершающая часть кода реализует оформление, легенду графика, она включает в себя подписи осей и цветовое оформление. Функция plt.colorbar() создает цветную шкалу, которая визуально связывает градиентную палитру маркеров с соответствующими значениями сложности рекурсивных вычислений.

1) среднее время выполнения (ось Y);

2) объем используемой памяти (размер точек);

3) сложность вычислений (цвет точек);

4) стандартное отклонение (вертикальные линии).

Такой подход демонстрирует преимущества Jupyter Notebook для работы со сложными многомерными данными по сравнению с традиционными инструментами.

9. Заключение

В результате проведенного исследования было показано, что Jupyter Notebook представляет собой универсальную и эффективную среду для визуализации статистических данных, позволяющую объединять вычислительные возможности Python с гибкими инструментами графического представления информации. Рассмотренные библиотеки Plotly и Matplotlib продемонстрировали высокую результативность как для статической научной графики, так и для создания интерактивных решений, что делает их совместное использование оптимальным для анализа данных различной сложности и объема. Особое внимание было уделено вопросам оптимизации работы с большими массивами, применению параллельных вычислений и интеграции с системами управления базами данных, что обеспечивает масштабируемость и надежность аналитических процессов.

Практическая значимость предложенного методологического подхода проявляется в его применимости для широкого спектра задач

—

Перспективы дальнейшего развития работы связаны с расширением функционала Jupyter Notebook путем интеграции методов машинного обучения и искусственного интеллекта для автоматического выбора оптимальных способов визуализации в зависимости от структуры и характеристик данных. Представляется актуальным внедрение интеллектуальных рекомендательных систем, способных адаптировать цветовые схемы, масштабируемые графики и интерактивные элементы под конкретные задачи пользователя. Дополнительным направлением может стать развитие облачных решений и коллаборативных сервисов на основе Jupyter, что позволит организовать совместную работу исследователей и аналитиков в реальном времени. В долгосрочной перспективе внедрение описанного подхода способно повысить эффективность анализа данных, сделать визуализацию более доступной и интуитивно понятной, а также обеспечить новые возможности для научных исследований и прикладных разработок.

The additional file for this article can be found as follows: