The Brand Collector — дампы по 120 000 строк, оркестратор на Fastify, воркеры на Go, которые доезжают.

Дамп и есть продукт

Международный pre-owned люкс, сеть поставщиков, одна задача фида, которая не влезает в ноутбук. Каждый входящий дамп — больше 120 000 строк. CSV, который держат, — 169 000+. Бриф — надёжность под этой нагрузкой, не красивый маппер.

Fastify держит контур, Go делает работу

Начали с Fastify, потому что он держится под нагрузкой: API, расписания, отчёты. Этот слой остался. Вычисления — конвертация таксономии, маппинг, pattern-match на наборах 120k+ строк — уехали на воркеры Go. Гибрид нарочно. Node такой объём не жуёт. Go — да. Shopify и Matrixify сидят на магазинной стороне той же трубы.

• Fastify как оркестратор: API, cron, отчёты
• Воркеры Go — таксономия, маппинг, pattern-match
• ~на 60% быстрее на этих шагах при 120k+ строк
• SQL посередине; Shopify + Matrixify на выходе

Объём — это ограничение

Это не трёхсекундный опрос Sheets. Это дамп, который уже не живёт в памяти так, как жил партнёрский файл. Пайплайн должен доехать, записать и быть на месте к следующему файлу. За эту надёжность и платили.