Hệ Thống Phân Tán & AI Agent
AI Tender Crawling & Ranking
Hệ thống tự động thu thập hồ sơ mời thầu đa cổng, thẩm định tiêu chí và xếp hạng cơ hội bằng AI
Next.js (Fullstack) + Prisma + PostgreSQL + Redis/BullMQ + Python FastAPI (Playwright Stealth + Requests + BS4). Tự động thu thập dữ liệu từ Mua Sắm Công (Việt Nam), GeBIZ (Singapore), SAM.gov (Mỹ), trích xuất HSMT, đối chiếu hồ sơ năng lực 7 chiều, đánh giá khuyến nghị GO/CONSIDER/NO_GO bằng Google Gemini API (kèm failover dự phòng) và gửi Email Digest tự động mỗi ngày.

Điểm nổi bật
Vấn đề & Mục tiêu
Các doanh nghiệp CNTT & nhà thầu thường phải rà soát thủ công hàng trăm gói thầu mỗi ngày từ nhiều cổng thông tin khác nhau. Việc đọc hồ sơ mời thầu (HSMT), kiểm tra xem công ty có đáp ứng yêu cầu kỹ thuật, kinh nghiệm, chứng chỉ và quy mô hay không mất từ vài giờ đến cả ngày cho mỗi gói, dẫn đến nguy cơ bỏ lỡ cơ hội hoặc lãng phí nguồn lực nộp thầu không khả thi.
Công nghệ sử dụng
- Next.js API Routes — Serverless functions, Edge Runtime, tích hợp chặt chẽ với Frontend
- Prisma ORM — Type-safe database client, schema migrations, relationship mapping
- PostgreSQL — Lưu trữ quan hệ: tenders, scores, criteria profiles, closed bids
- BullMQ & Redis — Quản lý 4 hàng đợi tác vụ crawl, scoring, download HSMT và closed tenders
- Google Gemini API — Mô hình gemini-3.5-flash-lite có auto-failover, xuất structured JSON schema
- Socket.IO Gateway — Phát sự kiện realtime scoring_updated tới giao diện người dùng
- FastAPI — Asynchronous microservice giao tiếp với backend qua REST & internal token
- Playwright Stealth — Headless/Headed Chromium + Xvfb giả lập trình duyệt, vượt bảo vệ chống bot
- Custom TLSAdapter — Bộ cipher DEFAULT:@SECLEVEL=1 kết nối an toàn với máy chủ chính phủ cũ
- HTTPX & BS4 — Thu thập REST API SAM.gov (backoff retry) và phân tích HTML BeautifulSoup
- Multi-Source Extractors — Module chuyên biệt cho Mua Sắm Công, GeBIZ Singapore, SAM.gov, BidWinner
- Next.js 14 — App Router, Server Components (RSC), hiệu năng cao với Tailwind CSS
- TypeScript — Type safety toàn diện đồng bộ với API contracts
- Tailwind CSS & shadcn/ui — Giao diện quản trị hiện đại, dark mode, responsive
- Lucide Icons & Recharts — Trực quan hóa dữ liệu thống kê đấu thầu, biểu đồ phân bổ giá
- Docker Compose — Đóng gói toàn bộ cụm Frontend, Backend, Crawler Worker, Postgres, Redis
- MD5 Content Deduplication — Băm contentHash trường cốt lõi, tránh re-scoring lãng phí chi phí AI
- Email Digest (Nodemailer) — Cron job quét theo giờ cấu hình, gửi bản tin HTML top gói thầu sáng
Kiến trúc hệ thống
Hệ thống thiết kế theo kiến trúc Microservices hướng sự kiện: Next.js (Fullstack) tiếp nhận cấu hình nguồn và điều phối scheduler; Redis/BullMQ điều phối 4 queues độc lập; Python FastAPI worker đảm nhiệm tác vụ crawl nặng với Playwright Stealth & TLSAdapter; Google Gemini API trích xuất và thẩm định ngữ nghĩa với JSON Schema.
Quy trình thẩm định & Chấm điểm AI
Gói thầu sau khi thu thập được đưa vào pipeline đánh giá kết hợp giữa quy tắc cứng (Rule-based) và trí tuệ nhân tạo (AI-based):
Tình báo đấu thầu & Đối thủ
Hệ thống không chỉ tìm kiếm gói thầu mới mà còn theo dõi các gói thầu đã đóng trên Mua Sắm Công để phân tích cục diện thị trường:
Tính năng chi tiết
- Hỗ trợ 6 loại nguồn: Mua Sắm Công, SAM.gov, GeBIZ, BidWinner, DauThauAsia, FreeTender
- Lọc gói thầu theo từ khóa và khoảng giá trị ước tính (min/max VND)
- Tùy chỉnh giờ crawl tự động (crawlHour) cho từng nguồn riêng biệt
- Chức năng Crawl ngay (Instant Run) để test nguồn và xem log realtime
- Hồ sơ năng lực công ty 7 chiều (định vị, dịch vụ, công nghệ, chứng chỉ, thị trường)
- Nhóm tiêu chí chấm điểm linh hoạt: best_tier (chọn bậc cao nhất) hoặc flat_if_any (cộng điểm thưởng)
- Tự động kích hoạt pipeline chấm điểm ngay sau khi crawl thành công qua BullMQ
- Tái chấm điểm rubric tức thì không gọi lại LLM giúp tiết kiệm tối đa chi phí
- Theo dõi trạng thái: Đang xét thầu hoặc Đã có nhà thầu trúng thầu
- Trích xuất thông tin quyết định phê duyệt (số quyết định, ngày, cơ quan)
- Lưu trữ chi tiết danh sách nhà thầu tham dự, giá dự thầu, giá trúng thầu
- Phân tích SWOT đối thủ cạnh tranh từ dữ liệu đấu thầu lịch sử
- Bản tin Email Digest hàng ngày gửi Top 5 gói thầu điểm cao nhất kèm link chi tiết
- Cấu hình ngưỡng điểm tối thiểu (minScoreThreshold) và phân loại kết luận (allowedVerdicts) để gửi email
- Phát tín hiệu realtime WebSocket (Socket.IO) khi chấm điểm hoàn tất
- Lịch sử gửi email (TenderEmailHistory) để kiểm toán và đối soát
Giao diện & Chức năng




