Step 3. 데이터 수집과 중복 제거

Array 방식: ~수만 회 x 평균 ~7,000 비교 = 약 수억 회 연산
Map 방식:   ~수만 회 x 1 비교            = 약 수만 회 연산

// src/lib/buildGraph.ts
 
import fs from 'fs';
import path from 'path';
import type { RawKeywordEntry, KeywordNode, KeywordLink, GraphData } from '@/types/graph';
 
const RAW_DIR = path.join(process.cwd(), 'data', 'raw');
 
export function buildGraph(minVolume: number = 1000): GraphData {
  const files = fs.readdirSync(RAW_DIR).filter(f => f.endsWith('.json'));
 
  // ── Phase 1: 읽기 + 중복 제거 ──
  const nodeMap = new Map<string, KeywordNode>();
  const seedToRelated = new Map<string, string[]>();
  const seedKeywords: string[] = [];
  // 각 키워드가 어느 seed 파일에 속하는지 추적 (동시출현 계산용)
  const keywordToSeeds = new Map<string, Set<string>>();
  // 키워드가 처음 등장한 seed 파일 (그룹 할당용)
  const keywordFirstSeed = new Map<string, string>();
 
  for (const file of files) {
    const seedKeyword = path.basename(file, '.json').normalize('NFC');
    seedKeywords.push(seedKeyword);
 
    const raw: RawKeywordEntry[] = JSON.parse(
      fs.readFileSync(path.join(RAW_DIR, file), 'utf-8')
    );
 
    const related: string[] = [];
 
    for (const entry of raw) {
      const kw = entry.relKeyword;
      related.push(kw);
 
      // 노드 생성 (첫 등장 시)
      if (!nodeMap.has(kw)) {
        nodeMap.set(kw, {
          id: kw,
          keyword: kw,
          totalVolume: entry.monthlyPcQcCnt + entry.monthlyMobileQcCnt,
          monthlyPcQcCnt: entry.monthlyPcQcCnt,
          monthlyMobileQcCnt: entry.monthlyMobileQcCnt,
          compIdx: entry.compIdx,
          monthlyAvePcCtr: entry.monthlyAvePcCtr,
          monthlyAveMobileCtr: entry.monthlyAveMobileCtr,
          isSeed: false,
          seedCount: 0,
          group: 0,
        });
      }
 
      const node = nodeMap.get(kw)!;
      node.seedCount++;
 
      if (kw === seedKeyword) {
        node.isSeed = true;
      }
 
      // seed 파일 소속 추적
      if (!keywordToSeeds.has(kw)) keywordToSeeds.set(kw, new Set());
      keywordToSeeds.get(kw)!.add(seedKeyword);
 
      // 첫 등장 seed 기록
      if (!keywordFirstSeed.has(kw)) {
        keywordFirstSeed.set(kw, seedKeyword);
      }
    }
 
    seedToRelated.set(seedKeyword, related);
  }
 
  // ... Phase 2, 3, 4는 다음 Step에서 다룸

// src/lib/buildGraph.ts (임포트 부분)
 
import fs from 'fs';
import path from 'path';
import type { RawKeywordEntry, KeywordNode, KeywordLink, GraphData } from '@/types/graph';
 
const RAW_DIR = path.join(process.cwd(), 'data', 'raw');

// src/lib/buildGraph.ts (함수 시그니처 부분)
 
export function buildGraph(minVolume: number = 1000): GraphData {
  const files = fs.readdirSync(RAW_DIR).filter(f => f.endsWith('.json'));

data/raw/
├── 가라아게.json     (시드: "가라아게")
├── 감자빵.json       (시드: "감자빵", 273개 연관 키워드)
├── 강황.json         (시드: "강황")
├── 계란.json         (시드: "계란")
├── 고구마.json       (시드: "고구마", 969개 연관 키워드)
├── 고구마말랭이.json
├── ...
└── (총 51개 파일)

// src/lib/buildGraph.ts (자료구조 선언 부분)
 
const nodeMap = new Map<string, KeywordNode>();
const seedToRelated = new Map<string, string[]>();
const seedKeywords: string[] = [];
const keywordToSeeds = new Map<string, Set<string>>();
const keywordFirstSeed = new Map<string, string>();

// src/lib/buildGraph.ts (시드 키워드 추출 부분)
 
for (const file of files) {
  const seedKeyword = path.basename(file, '.json').normalize('NFC');
  seedKeywords.push(seedKeyword);

NFC (조합형): '감' = U+AC10  (한 글자로 저장)
NFD (분해형): '감' = ㄱ + ㅏ + ㅁ = U+1100 + U+1161 + U+11B7  (자모로 분해)

파일명에서 추출한 '감자빵' (NFD): ㄱㅏㅁㅈㅏㅃㅏㅇ
JSON 안의 '감자빵' (NFC):         감자빵

// src/lib/buildGraph.ts (파일 읽기 + 노드 생성 부분)
 
    const raw: RawKeywordEntry[] = JSON.parse(
      fs.readFileSync(path.join(RAW_DIR, file), 'utf-8')
    );
 
    const related: string[] = [];
 
    for (const entry of raw) {
      const kw = entry.relKeyword;
      related.push(kw);
 
      // 노드 생성 (첫 등장 시)
      if (!nodeMap.has(kw)) {
        nodeMap.set(kw, {
          id: kw,
          keyword: kw,
          totalVolume: entry.monthlyPcQcCnt + entry.monthlyMobileQcCnt,
          monthlyPcQcCnt: entry.monthlyPcQcCnt,
          monthlyMobileQcCnt: entry.monthlyMobileQcCnt,
          compIdx: entry.compIdx,
          monthlyAvePcCtr: entry.monthlyAvePcCtr,
          monthlyAveMobileCtr: entry.monthlyAveMobileCtr,
          isSeed: false,
          seedCount: 0,
          group: 0,
        });
      }

[1단계] 감자빵.json 처리 중 -- entry: { relKeyword: '계란', monthlyPcQcCnt: 770, monthlyMobileQcCnt: 3760 }
 
  nodeMap.has('계란') -> false  (처음 등장)
  nodeMap.set('계란', {
    id: '계란',
    keyword: '계란',
    totalVolume: 770 + 3760 = 4530,   // <-- 감자빵.json에서의 검색량
    seedCount: 0,
    isSeed: false,
    ...
  })
 
[2단계] 고구마.json 처리 중 -- entry: { relKeyword: '계란', monthlyPcQcCnt: 770, monthlyMobileQcCnt: 3760 }
 
  nodeMap.has('계란') -> true  (이미 존재!)
  -> 노드를 새로 만들지 않음
  -> 기존 노드의 값(totalVolume 등)을 덮어쓰지 않음
  -> 첫 번째 파일에서 만든 노드를 그대로 유지
 
[3단계] 계란.json 처리 중 -- entry: { relKeyword: '계란', monthlyPcQcCnt: 28200, monthlyMobileQcCnt: 129100 }
 
  nodeMap.has('계란') -> true  (이미 존재!)
  -> 여전히 노드를 새로 만들지 않음
  -> totalVolume은 처음 값인 4530을 유지 (계란.json의 157,300이 아님!)

// src/lib/buildGraph.ts (seedCount 및 isSeed 부분)
 
      const node = nodeMap.get(kw)!;
      node.seedCount++;
 
      if (kw === seedKeyword) {
        node.isSeed = true;
      }

'계란' 키워드의 seedCount 변화:
 
감자빵.json 처리 -> seedCount: 0 → 1  (노드 생성 직후 첫 증가)
강황.json   처리 -> seedCount: 1 → 2
계란.json   처리 -> seedCount: 2 → 3, isSeed = true!  ← 자기 파일에서 등장
고구마.json 처리 -> seedCount: 3 → 4
...
(총 25개 파일에서 등장하므로 최종 seedCount = 25)

// src/lib/buildGraph.ts (시드 소속 추적 부분)
 
      // seed 파일 소속 추적
      if (!keywordToSeeds.has(kw)) keywordToSeeds.set(kw, new Set());
      keywordToSeeds.get(kw)!.add(seedKeyword);
 
      // 첫 등장 seed 기록
      if (!keywordFirstSeed.has(kw)) {
        keywordFirstSeed.set(kw, seedKeyword);
      }
    }
 
    seedToRelated.set(seedKeyword, related);
  }

'계란'의 keywordToSeeds 변화:
 
감자빵.json 처리 -> Set { '감자빵' }
강황.json   처리 -> Set { '감자빵', '강황' }
계란.json   처리 -> Set { '감자빵', '강황', '계란' }
고구마.json 처리 -> Set { '감자빵', '강황', '계란', '고구마' }
...
(최종: 25개 시드를 담은 Set)

'계란'의 keywordFirstSeed: '감자빵'  (감자빵.json에서 처음 등장했으므로)
'냉동고구마'의 keywordFirstSeed: '강황'  (강황.json에서 처음 등장했으므로)

seedToRelated.set(seedKeyword, related);

nodeMap:          13,875개 엔트리 (고유 키워드 수)
seedToRelated:    51개 엔트리 (시드 파일 수)
seedKeywords:     51개 요소 (시드 키워드 배열)
keywordToSeeds:   13,875개 엔트리 (각 키워드별 소속 시드 Set)
keywordFirstSeed: 13,875개 엔트리 (각 키워드별 첫 등장 시드)

                    51개 JSON 파일
                         │
                         v
            ┌────── Phase 1 ──────┐
            │                     │
            │   for (file of files)│
            │     for (entry)     │
            │       │             │
            │       v             │
            │   nodeMap에 노드 생성│  ← 중복이면 skip, seedCount만 증가
            │   keywordToSeeds 갱신│  ← Set으로 소속 시드 추적
            │   keywordFirstSeed  │  ← 첫 등장 시드만 기록
            │       │             │
            │       v             │
            │   seedToRelated 저장│  ← 파일 처리 완료 시
            │                     │
            └─────────────────────┘
                         │
                         v
               Phase 2, 3, 4로 전달
              (다음 Step에서 계속)