Integration of filtering policy and traffic loop analysis by stepanrodimanov · Pull Request #111 · moevm/grpc_server

stepanrodimanov · 2026-03-26T18:38:31Z

No description provided.

KonstantinKondratenko · 2026-03-30T20:06:09Z

Почему это не делать через merge веток просто и исправления конфликтов?

KonstantinKondratenko · 2026-03-30T20:23:17Z

ну вот надо подтянуть актуальные изменения + изменения от коллег ваших, когда они мои правки поправят, а кажется, что это будет сложнее сделать, т.к. это другие коммиты у вас в ветке

…egration

… into dpdk-integration

KonstantinKondratenko

В целом нормально кажется, но переделка docker мне не нравится
Вопрос -- нужно ли его так сильно переделывать?
А если да, то нгужно аккуратно -- версии указать, зафиксировать tag базового образа

KonstantinKondratenko · 2026-04-16T10:50:34Z

+RUN apt-get update && apt-get install -y \
+    build-essential \
+    cmake \
+    curl \
+    git \
+    wget \
+    meson \
+    ninja-build \
+    libssl-dev \
+    protobuf-compiler \
+    libprotobuf-dev \
+    python3 \
+    python3-pip \
+    libnuma-dev \
+    pkg-config \
+    libcurl4-openssl-dev \
+    libbpf-dev \
+    gcc \
+    g++ \
+    m4 \
+    libpcap-dev \
+    libsqlite3-dev \
+    libstdc++6 \
+    libgcc-s1 \
+    libssl3 \
+    libcurl4 \
+    numactl \
+    sqlite3 \
+    && rm -rf /var/lib/apt/lists/*


версии нужно фиксировать

KonstantinKondratenko · 2026-04-16T10:51:43Z

+    sqlite3 \
+    && rm -rf /var/lib/apt/lists/*
+
+RUN pip3 install pyelftools


аналогично про версии

всякие no cache dir и clean нужно делать, если вы выше уже начали ужимать слои через rm -rf /var/lib/apt/lists/*

KonstantinKondratenko · 2026-04-16T11:02:40Z

@@ -1,17 +1,54 @@
-FROM alpine:3.21.3 AS builder
+FROM ubuntu:22.04


зачем базовый образ мен6ять, тем более без тега

KonstantinKondratenko · 2026-04-16T11:04:18Z


-ENTRYPOINT ["/usr/local/bin/worker", "/data/test.txt", "sha256"]
+RUN ldconfig
+


наверное стоит какой-то мюльтистейдж прикрутить в перспективе

KonstantinKondratenko · 2026-04-16T11:04:52Z

 	rm -f $(TARGET_REAL) $(TARGET_VIRT)

-.PHONY: all clean virt
+.PHONY: all clean virt


new line лучше оставлять

AndrewGavril

По хорошему данный PR должен быть разделен на 3:

Рефакторинг (укаршательства кода)
Добавление функций фильтрации относительно имеющихся политик
Добавление кэша

Ревьюить такое количество кода крайне проблематично.

AndrewGavril · 2026-04-16T10:51:55Z

+#include "../../include/dpdk_filter/constants.h"
+#include "../../include/dpdk_filter/types.h"


Относительные пути -- плохая практика, нужно при сборке указать пути до хедеров, чтобы include работал без относительных путей

AndrewGavril · 2026-04-16T10:53:40Z

+#include "../../include/dpdk_filter/constants.h"
 #include "../../include/dpdk_filter/filtr_packets.h"
+#include "../../include/dpdk_filter/net_port.h"
 #include "../../include/dpdk_filter/pars_packets.h"
-#include "../../include/dpdk_filter/constants.h"
 #include "../../include/dpdk_filter/types.h"


Аналогично -- убрать относительные пути

AndrewGavril · 2026-04-16T10:54:51Z

 #include "constants.h"
-#include <stdint.h>
 #include <stdbool.h>
+#include <stdint.h>


Такие изменения лучше не включать в коммиты, чтобы случайно не получать конфликты с другими изменениями. Данный комментарий исправлять не обязательно, так как с этим кодом работаете только вы

AndrewGavril · 2026-04-16T11:05:06Z

@@ -1,5 +1,7 @@
 #include "../../include/dpdk_filter/dns_cache.h"


Опять относительные пути. Это и далее надо исправить.

AndrewGavril · 2026-04-16T11:06:28Z

@@ -1,5 +1,7 @@
 #include "../../include/dpdk_filter/dns_cache.h"

+static sqlite3 *cache_table;


Точно ли мы хотим писать на Си, а не на C++?

cache_table потенциально подвержен гонке данных. Лучше бы конечно перейти к C++, сделав класс и защитив примитивами синхронизации такую переменную.

AndrewGavril · 2026-04-16T11:09:56Z

+  ret = sqlite3_step(stmt);
+  if (ret != SQLITE_DONE) {
+    printf("[ERROR] Failed to insert into main_table: %s\n",
+           sqlite3_errmsg(cache_table));
+    sqlite3_finalize(stmt);
+    return ret;
+  }
+
+  ret = sqlite3_finalize(stmt);
+  if (ret != SQLITE_OK) {
+    printf("[ERROR] Failed to delete prepared statement: %s\n",
+           sqlite3_errmsg(cache_table));
+    return ret;
+  }


Этот код множество раз повторяется для разных полей. Можно вынести в отдельную функцию или переделать в цикл.

AndrewGavril · 2026-04-16T11:15:10Z

+
+  ret = sqlite3_exec(cache_table, "COMMIT;", NULL, NULL, NULL);
+  if (ret != SQLITE_OK) {
+    printf("[ERROR] Failed to exec COMMIT: %s\n", sqlite3_errmsg(cache_table));


Тут и в остальных местах для вывода разных подписей в начале строки нужно выделить макросы логов, подробнее тут: https://www.valvers.com/open-software/logging-with-gcc/

Можно сделать готовые макросы LOG_ERR, LOG_INFO, LOG_DEBUG, чтобы исключить из строк часть [ERROR], а так же добавить унифицированный формат -- временную метку, вывод функции, где производится лог и т.д.

integrate dpdk loop

772d281

stepanrodimanov linked an issue Mar 26, 2026 that may be closed by this pull request

Интеграция политики фильтрации и цикла анализа трафика #102

Open

stepanrodimanov added the in progress label Mar 26, 2026

stepanrodimanov added 4 commits March 31, 2026 16:53

Merge branch 'protocols_between_controller_and_workers' into dpdk-int…

abd3dad

…egration

merge traffic_filtering into dpdk-integration

5bee3e4

interrupt handler

203ae98

fix linter

b610905

stepanrodimanov removed in progress labels Apr 1, 2026

stepanrodimanov and others added 15 commits April 2, 2026 11:20

Merge branch 'traffic_filtering' into dpdk-integration

1e55242

fix bazel build

2967fb0

Merge branch 'dpdk-integration' of https://github.com/moevm/grpc_server…

65eca24

… into dpdk-integration

add send to port in

8283bfb

Merge changes dpdk

c50b312

integrate changes dpdk

c770dce

Merge branch 'traffic_filtering' into dpdk-integration

601ae03

fix linter

ea99a79

full done

5017313

add stdint

4c76460

merge sqlite

b4ee8e8

fix build

2a8a6fb

fix linter

cd0ecf6

fix build worker

cac500e

fix build worker

b970eda

KonstantinKondratenko requested a review from AndrewGavril April 16, 2026 10:57

KonstantinKondratenko requested changes Apr 16, 2026

View reviewed changes

AndrewGavril requested changes Apr 16, 2026

View reviewed changes

KonstantinKondratenko mentioned this pull request Apr 16, 2026

Feat: Add sqlite bd in main loop filltring #122

Open

stepanrodimanov added 7 commits April 23, 2026 01:34

fix: remove cache

74a2853

Merge branch 'traffic_filtering' into dpdk-integration

abf0ff9

feact: added classification request

aa52eb6

fix: fix absolute paths

997f0aa

fix: fix absolute paths in main.c

10248e9

fix: fix dockerfile

da6b922

refactor: clang-format

a06f32d

stepanrodimanov added the need_review label Apr 23, 2026

		@@ -1,17 +1,54 @@
		FROM alpine:3.21.3 AS builder
		FROM ubuntu:22.04


		ENTRYPOINT ["/usr/local/bin/worker", "/data/test.txt", "sha256"]
		RUN ldconfig

		#include "../../include/dpdk_filter/constants.h"
		#include "../../include/dpdk_filter/types.h"

		@@ -1,5 +1,7 @@
		#include "../../include/dpdk_filter/dns_cache.h"

		@@ -1,5 +1,7 @@
		#include "../../include/dpdk_filter/dns_cache.h"

		static sqlite3 *cache_table;

Conversation

stepanrodimanov commented Mar 26, 2026

Uh oh!

KonstantinKondratenko commented Mar 30, 2026

Uh oh!

KonstantinKondratenko commented Mar 30, 2026

Uh oh!

KonstantinKondratenko left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

AndrewGavril left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants