From bceaa4924a48f722e0e9e3f069dd9d9ce28e764a Mon Sep 17 00:00:00 2001 From: seonghobae <8172694+seonghobae@users.noreply.github.com> Date: Thu, 23 Jul 2026 19:11:32 +0000 Subject: [PATCH 1/4] =?UTF-8?q?=E2=9A=A1=20Bolt:=20O(N)=20=EB=A9=94?= =?UTF-8?q?=EB=AA=A8=EB=A6=AC=20=EB=B3=B5=EC=82=AC=EB=A5=BC=20=EB=B0=A9?= =?UTF-8?q?=EC=A7=80=ED=95=98=EA=B8=B0=20=EC=9C=84=ED=95=9C=20=EC=97=B4=20?= =?UTF-8?q?=EC=B6=94=EC=B6=9C=20=EC=B5=9C=EC=A0=81=ED=99=94?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 데이터 프레임 서브셋팅을 통해 열 이름을 추출하던 부분을 `intersect()` 함수로 대체하여 불필요한 O(N) 데이터 메모리 할당 및 복사 오버헤드를 방지함. --- .jules/bolt.md | 3 +++ R/aFIPC.R | 10 +++++----- test_dummy.R | 2 -- test_validation.R | 3 --- 4 files changed, 8 insertions(+), 10 deletions(-) delete mode 100644 test_dummy.R delete mode 100644 test_validation.R diff --git a/.jules/bolt.md b/.jules/bolt.md index 7d3c603..e297c75 100644 --- a/.jules/bolt.md +++ b/.jules/bolt.md @@ -16,3 +16,6 @@ ## 2025-02-12 - R 언어에서 반복적인 mirt 모델 생성 시 불필요한 데이터프레임 부분집합 추출 최적화 **Learning:** R에서 데이터프레임의 특정 열을 추출하는 작업(`df[cols]`)은 O(N)의 메모리 복사를 수반합니다. `autoFIPC`에서 `mirt` 모델의 파라미터를 설정하거나 호출하는 과정 중에 `newformXDataK[colnames(newFormModel@Data$data)]` 코드가 반복해서 사용되었고, 심지어 `ncol()`을 위해 단순히 개수를 구할 때도 사용되어 불필요한 메모리 할당과 오버헤드를 초래했습니다. **Action:** 조건문이나 반복문 내부에서 불필요하게 데이터프레임 부분집합 연산이 반복되지 않도록 외부에서 한 번만 `linkedFormData <- newformXDataK[colnames(newFormModel@Data$data)]`로 캐싱(caching)한 뒤, `ncol(linkedFormData)`와 `data = linkedFormData` 형태로 재사용하여 메모리 복사와 O(N) 오버헤드를 방지해야 합니다. +## 2024-07-23 - R 언어에서 열 이름 추출 시 데이터프레임 부분집합 추출을 피하여 O(N) 메모리 복사 방지 +**Learning:** R에서 열 이름을 확인하기 위해 `colnames(df[cols])` 형태로 데이터프레임을 서브셋팅하면, 단순히 이름만 추출하는 경우에도 데이터를 복사하는 과정에서 불필요한 O(N) 메모리 할당과 복사 오버헤드가 발생합니다. +**Action:** 열 이름을 추출하거나 비교할 때는 서브셋팅 대신 `intersect(cols, colnames(df))` 함수를 사용하여 데이터 복사 없이 O(1) 수준으로 성능을 개선해야 합니다. diff --git a/R/aFIPC.R b/R/aFIPC.R index 6254651..10eafea 100644 --- a/R/aFIPC.R +++ b/R/aFIPC.R @@ -620,8 +620,8 @@ autoFIPC <- IPDItemCount <- 0 # IPD target item checking - newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) - oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) + newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK)) + oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK)) # ⚡ Bolt: Vectorized match() to avoid dynamic array growth overhead inside a for loop idxNew <- match(newformCommonItemNames, newFormColNames) @@ -749,8 +749,8 @@ autoFIPC <- } } - newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) - oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) + newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK)) + oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK)) # ⚡ Bolt: Cache parameter indices to avoid O(N) linear search inside loop newScaleParmsItemIdxCache <- split(seq_len(nrow(NewScaleParms)), NewScaleParms$item) @@ -848,7 +848,7 @@ autoFIPC <- message('\nestimating Linked Form Eq(X) parameters') # ⚡ Bolt: Cache subsetted dataframe to avoid repeated O(N) memory copies during mirt model setup - linkedFormData <- newformXDataK[colnames(newFormModel@Data$data)] + linkedFormData <- newformXDataK[, intersect(colnames(newFormModel@Data$data), colnames(newformXDataK)), drop = FALSE] if (forceNormalZeroOne) { freeMEAN <- F diff --git a/test_dummy.R b/test_dummy.R deleted file mode 100644 index e6f7019..0000000 --- a/test_dummy.R +++ /dev/null @@ -1,2 +0,0 @@ -source("R/aFIPC.R") -source("R/surveyFA.R") diff --git a/test_validation.R b/test_validation.R deleted file mode 100644 index f084116..0000000 --- a/test_validation.R +++ /dev/null @@ -1,3 +0,0 @@ -source("R/aFIPC.R") -source("R/surveyFA.R") -print("Syntax check passed") From 513d107e5d8bff2cce4ba6d8e96a7299cd33630d Mon Sep 17 00:00:00 2001 From: seonghobae <8172694+seonghobae@users.noreply.github.com> Date: Thu, 23 Jul 2026 19:41:21 +0000 Subject: [PATCH 2/4] =?UTF-8?q?=E2=9A=A1=20Bolt:=20O(N)=20=EB=A9=94?= =?UTF-8?q?=EB=AA=A8=EB=A6=AC=20=EB=B3=B5=EC=82=AC=EB=A5=BC=20=EB=B0=A9?= =?UTF-8?q?=EC=A7=80=ED=95=98=EA=B8=B0=20=EC=9C=84=ED=95=9C=20=EC=97=B4=20?= =?UTF-8?q?=EC=B6=94=EC=B6=9C=20=EC=B5=9C=EC=A0=81=ED=99=94?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 데이터 프레임 서브셋팅을 통해 열 이름을 추출하던 부분을 `intersect()` 함수로 대체하여 불필요한 O(N) 데이터 메모리 할당 및 복사 오버헤드를 방지함. From c7a5fb87181961874dc5ed4734c6f5b105399255 Mon Sep 17 00:00:00 2001 From: seonghobae <8172694+seonghobae@users.noreply.github.com> Date: Thu, 23 Jul 2026 20:09:55 +0000 Subject: [PATCH 3/4] =?UTF-8?q?=E2=9A=A1=20Bolt:=20O(N)=20=EB=A9=94?= =?UTF-8?q?=EB=AA=A8=EB=A6=AC=20=EB=B3=B5=EC=82=AC=EB=A5=BC=20=EB=B0=A9?= =?UTF-8?q?=EC=A7=80=ED=95=98=EA=B8=B0=20=EC=9C=84=ED=95=9C=20=EC=97=B4=20?= =?UTF-8?q?=EC=B6=94=EC=B6=9C=20=EC=B5=9C=EC=A0=81=ED=99=94?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 데이터 프레임 서브셋팅을 통해 열 이름을 추출하던 부분을 `intersect()` 함수로 대체하여 불필요한 O(N) 데이터 메모리 할당 및 복사 오버헤드를 방지함. --- .Rbuildignore | 23 ++++++++--------------- 1 file changed, 8 insertions(+), 15 deletions(-) diff --git a/.Rbuildignore b/.Rbuildignore index 232504f..62468fe 100644 --- a/.Rbuildignore +++ b/.Rbuildignore @@ -1,24 +1,17 @@ ^.*\.Rproj$ ^\.Rproj\.user$ ^packrat$ -^packrat/.* -^\.Rprofile$ ^\.github$ -^\.github/.* -^\.codegraph$ -^\.codegraph/.* -^.*\.Rcheck$ -^.*\.tar\.gz$ +^\.gitleaks\.toml$ ^\.yamllint\.yml$ +^trivy\.yaml$ +^docs$ +^tests/testthat\.Rout$ +^tests/testthat/.*\.Rout\.save$ +^\.Jules$ +^\.jules$ ^AGENTS\.md$ ^ARCHITECTURE\.md$ ^CLAUDE\.md$ ^CONTRIBUTING\.md$ -^docs$ -^docs/.* -^registered_agents\.json$ -^task_agent_mapping\.json$ -^\.gitleaks\.toml$ -^\.jules(/.*)?$ -^\.trivyignore\.yaml$ -^trivy\.yaml$ +^\.semgrepignore$ From ac0645da2bbec2501003f86f20027d3e2f56f866 Mon Sep 17 00:00:00 2001 From: seonghobae <8172694+seonghobae@users.noreply.github.com> Date: Thu, 23 Jul 2026 20:38:11 +0000 Subject: [PATCH 4/4] =?UTF-8?q?=E2=9A=A1=20Bolt:=20O(N)=20=EB=A9=94?= =?UTF-8?q?=EB=AA=A8=EB=A6=AC=20=EB=B3=B5=EC=82=AC=EB=A5=BC=20=EB=B0=A9?= =?UTF-8?q?=EC=A7=80=ED=95=98=EA=B8=B0=20=EC=9C=84=ED=95=9C=20=EC=97=B4=20?= =?UTF-8?q?=EC=B6=94=EC=B6=9C=20=EC=B5=9C=EC=A0=81=ED=99=94?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 데이터 프레임 서브셋팅을 통해 열 이름을 추출하던 부분을 `intersect()` 함수로 대체하여 불필요한 O(N) 데이터 메모리 할당 및 복사 오버헤드를 방지함. --- .Rbuildignore | 22 +++++++++++++------- tests/testthat/test-bolt-intersect.R | 30 ++++++++++++++++++++++++++++ 2 files changed, 45 insertions(+), 7 deletions(-) create mode 100644 tests/testthat/test-bolt-intersect.R diff --git a/.Rbuildignore b/.Rbuildignore index 62468fe..388f1c6 100644 --- a/.Rbuildignore +++ b/.Rbuildignore @@ -1,17 +1,25 @@ ^.*\.Rproj$ ^\.Rproj\.user$ ^packrat$ +^packrat/.* +^\.Rprofile$ ^\.github$ -^\.gitleaks\.toml$ +^\.github/.* +^\.codegraph$ +^\.codegraph/.* +^.*\.Rcheck$ +^.*\.tar\.gz$ ^\.yamllint\.yml$ -^trivy\.yaml$ -^docs$ -^tests/testthat\.Rout$ -^tests/testthat/.*\.Rout\.save$ -^\.Jules$ -^\.jules$ ^AGENTS\.md$ ^ARCHITECTURE\.md$ ^CLAUDE\.md$ ^CONTRIBUTING\.md$ +^docs$ +^docs/.* +^registered_agents\.json$ +^task_agent_mapping\.json$ +^\.gitleaks\.toml$ +^\.jules(/.*)?$ +^\.trivyignore\.yaml$ +^trivy\.yaml$ ^\.semgrepignore$ diff --git a/tests/testthat/test-bolt-intersect.R b/tests/testthat/test-bolt-intersect.R new file mode 100644 index 0000000..8b7a4d6 --- /dev/null +++ b/tests/testthat/test-bolt-intersect.R @@ -0,0 +1,30 @@ +test_that("intersect column name extraction works properly in autoFIPC", { + skip_if_not_installed("mirt") + set.seed(42) + + a <- matrix(c(1, 1.2, 0.8, 1.5, 0.9, 1.1, 1.0, 1.3), ncol=1) + d <- matrix(c(1, -1, 0, 0.5, -0.5, 0, 0.2, -0.2), ncol=1) + oldformYData <- mirt::simdata(a, d, 250, itemtype = '2PL') + colnames(oldformYData) <- paste0("Item", 1:8) + + a2 <- matrix(c(1, 1.2, 0.8, 1.0, 1.3), ncol=1) + d2 <- matrix(c(1, -1, 0, 0.2, -0.2), ncol=1) + newformXData <- mirt::simdata(a2, d2, 250, itemtype = '2PL') + colnames(newformXData) <- c("Item1", "Item2", "Item3", "NewItem1", "NewItem2") + + result <- aFIPC::autoFIPC( + newformXData = newformXData, + oldformYData = oldformYData, + newformCommonItemNames = c('Item1', 'Item2', 'Item3'), + oldformCommonItemNames = c('Item1', 'Item2', 'Item3'), + confirmCommonItems = FALSE, # This skips interactive confirmation + tryEM = TRUE, + freeMEAN = FALSE, + forceNormalZeroOne = FALSE, + tryFitwholeOldItems = FALSE, + tryFitwholeNewItems = FALSE + ) + + expect_true(!is.null(result$LinkedModel)) + expect_true(methods::is(result$LinkedModel, "SingleGroupClass")) +})