Ngô Minh Phúc

Hệ Thống Phân Tán & AI Agent

AI Tender Crawling & Ranking

Hệ thống tự động thu thập hồ sơ mời thầu đa cổng, thẩm định tiêu chí và xếp hạng cơ hội bằng AI

Next.js (Fullstack) + Prisma + PostgreSQL + Redis/BullMQ + Python FastAPI (Playwright Stealth + Requests + BS4). Tự động thu thập dữ liệu từ Mua Sắm Công (Việt Nam), GeBIZ (Singapore), SAM.gov (Mỹ), trích xuất HSMT, đối chiếu hồ sơ năng lực 7 chiều, đánh giá khuyến nghị GO/CONSIDER/NO_GO bằng Google Gemini API (kèm failover dự phòng) và gửi Email Digest tự động mỗi ngày.

Next.js 14Prisma ORMPostgreSQLBullMQRedisPython 3.11FastAPIPlaywright StealthRequests & BS4Google Gemini APITailwind CSSDocker Compose
AI Tender Crawling & Ranking System - Tender list dashboard

Điểm nổi bật

Scoring Engine Hybrid AI & Rule
Kết hợp Google Gemini API xuất structured JSON schema với rubric động 7 chiều (lĩnh vực, công nghệ, ngân sách, địa bàn), đưa ra kết luận GO/CONSIDER/NO_GO (0-100) và phân tích Gaps & Risk Flags.
Tình Báo Đối Thủ & Thị Trường
Quét kết quả mở thầu đã đóng, phân tích danh sách nhà thầu tham dự, tỷ lệ giảm giá trung bình, lịch sử trúng thầu và dùng AI phân tích SWOT đối thủ cạnh tranh.
Hàng Đợi 4 Tầng & Email Digest
Phân tách 4 hàng đợi BullMQ (Crawl, Scoring, Tải HSMT, Closed Tenders), khử trùng lặp bằng MD5 content-hash và tự động gửi Email Digest tổng hợp các gói thầu tiềm năng nhất mỗi sáng.

Vấn đề & Mục tiêu

Các doanh nghiệp CNTT & nhà thầu thường phải rà soát thủ công hàng trăm gói thầu mỗi ngày từ nhiều cổng thông tin khác nhau. Việc đọc hồ sơ mời thầu (HSMT), kiểm tra xem công ty có đáp ứng yêu cầu kỹ thuật, kinh nghiệm, chứng chỉ và quy mô hay không mất từ vài giờ đến cả ngày cho mỗi gói, dẫn đến nguy cơ bỏ lỡ cơ hội hoặc lãng phí nguồn lực nộp thầu không khả thi.

→ Giải pháp & Mục tiêu Xây dựng hệ thống tự động hóa khép kín: Tự động crawl dữ liệu và tài liệu đính kèm từ nhiều cổng đấu thầu. Đối chiếu gói thầu với Hồ sơ năng lực (Criteria Profile) 7 chiều của công ty, tự động chấm điểm theo rubric, phân tích điểm thiếu hụt (Gaps), cờ rủi ro (Risk Flags), đồng thời phân tích đối thủ và gửi báo cáo tóm tắt hàng ngày.

Công nghệ sử dụng

Backend API (Next.js Route Handlers)
  • Next.js API Routes — Serverless functions, Edge Runtime, tích hợp chặt chẽ với Frontend
  • Prisma ORM — Type-safe database client, schema migrations, relationship mapping
  • PostgreSQL — Lưu trữ quan hệ: tenders, scores, criteria profiles, closed bids
  • BullMQ & Redis — Quản lý 4 hàng đợi tác vụ crawl, scoring, download HSMT và closed tenders
  • Google Gemini API — Mô hình gemini-3.5-flash-lite có auto-failover, xuất structured JSON schema
  • Socket.IO Gateway — Phát sự kiện realtime scoring_updated tới giao diện người dùng
Crawler Worker (Python)
  • FastAPI — Asynchronous microservice giao tiếp với backend qua REST & internal token
  • Playwright Stealth — Headless/Headed Chromium + Xvfb giả lập trình duyệt, vượt bảo vệ chống bot
  • Custom TLSAdapter — Bộ cipher DEFAULT:@SECLEVEL=1 kết nối an toàn với máy chủ chính phủ cũ
  • HTTPX & BS4 — Thu thập REST API SAM.gov (backoff retry) và phân tích HTML BeautifulSoup
  • Multi-Source Extractors — Module chuyên biệt cho Mua Sắm Công, GeBIZ Singapore, SAM.gov, BidWinner
Frontend Dashboard (Next.js App Router)
  • Next.js 14 — App Router, Server Components (RSC), hiệu năng cao với Tailwind CSS
  • TypeScript — Type safety toàn diện đồng bộ với API contracts
  • Tailwind CSS & shadcn/ui — Giao diện quản trị hiện đại, dark mode, responsive
  • Lucide Icons & Recharts — Trực quan hóa dữ liệu thống kê đấu thầu, biểu đồ phân bổ giá
DevOps & Tích hợp
  • Docker Compose — Đóng gói toàn bộ cụm Frontend, Backend, Crawler Worker, Postgres, Redis
  • MD5 Content Deduplication — Băm contentHash trường cốt lõi, tránh re-scoring lãng phí chi phí AI
  • Email Digest (Nodemailer) — Cron job quét theo giờ cấu hình, gửi bản tin HTML top gói thầu sáng

Kiến trúc hệ thống

Hệ thống thiết kế theo kiến trúc Microservices hướng sự kiện: Next.js (Fullstack) tiếp nhận cấu hình nguồn và điều phối scheduler; Redis/BullMQ điều phối 4 queues độc lập; Python FastAPI worker đảm nhiệm tác vụ crawl nặng với Playwright Stealth & TLSAdapter; Google Gemini API trích xuất và thẩm định ngữ nghĩa với JSON Schema.

Quy trình thẩm định & Chấm điểm AI

Gói thầu sau khi thu thập được đưa vào pipeline đánh giá kết hợp giữa quy tắc cứng (Rule-based) và trí tuệ nhân tạo (AI-based):

Step 01
Đối chiếu Hồ sơ Năng lực 7 chiều
So sánh ngành nghề (industries), công nghệ (technologies), sản phẩm (products), địa bàn và khoảng giá trị gói thầu (preferredValue).
Step 02
Tính điểm Rubric & Luật nghiệp vụ
Áp dụng các nhóm tiêu chí (ScoringCriteriaGroup) theo bậc điểm (Tiers), trừ điểm cận deadline, cộng điểm ngân sách phù hợp.
Step 03
Thẩm định AI & Xuất Structured Schema
Google Gemini phân tích yêu cầu kỹ thuật HSMT, đưa ra kết luận GO, CONSIDER hoặc NO_GO kèm điểm số (0 - 100) và giải trình.
Step 04
Trích xuất Lỗ hổng (Gaps) & Tái chấm điểm Rubric
Chỉ rõ năng lực thiếu hụt, điều khoản rủi ro trong hợp đồng; cho phép điều chỉnh rubric tính lại điểm mà không cần gọi lại AI.

Tình báo đấu thầu & Đối thủ

Hệ thống không chỉ tìm kiếm gói thầu mới mà còn theo dõi các gói thầu đã đóng trên Mua Sắm Công để phân tích cục diện thị trường:

Theo dõi Gói thầu Đã Đóng
Tự động quét kết quả mở thầu/xét thầu, danh sách nhà thầu tham gia (bidders) và tỷ lệ giảm giá.
Hồ sơ Năng lực Đối thủ
Thống kê lịch sử trúng thầu của từng công ty, giá trúng bình quân, các chủ đầu tư thân thiết.
AI Competitor Threat Assessment
Dùng AI kết hợp dữ liệu lịch sử để đánh giá mức độ đe dọa (High/Medium/Low), điểm mạnh, điểm yếu và chiến lược cạnh tranh.
Phân tích Trực quan
Biểu đồ phân bổ giá dự thầu, so sánh giá gói thầu với giá trúng thầu để tối ưu giá bỏ thầu tương lai.

Tính năng chi tiết

Quản lý Nguồn & Lập lịch Crawl
  • Hỗ trợ 6 loại nguồn: Mua Sắm Công, SAM.gov, GeBIZ, BidWinner, DauThauAsia, FreeTender
  • Lọc gói thầu theo từ khóa và khoảng giá trị ước tính (min/max VND)
  • Tùy chỉnh giờ crawl tự động (crawlHour) cho từng nguồn riêng biệt
  • Chức năng Crawl ngay (Instant Run) để test nguồn và xem log realtime
Hồ sơ Tiêu chí & Chấm điểm Tự động
  • Hồ sơ năng lực công ty 7 chiều (định vị, dịch vụ, công nghệ, chứng chỉ, thị trường)
  • Nhóm tiêu chí chấm điểm linh hoạt: best_tier (chọn bậc cao nhất) hoặc flat_if_any (cộng điểm thưởng)
  • Tự động kích hoạt pipeline chấm điểm ngay sau khi crawl thành công qua BullMQ
  • Tái chấm điểm rubric tức thì không gọi lại LLM giúp tiết kiệm tối đa chi phí
Phân tích Thị trường & Đối thủ
  • Theo dõi trạng thái: Đang xét thầu hoặc Đã có nhà thầu trúng thầu
  • Trích xuất thông tin quyết định phê duyệt (số quyết định, ngày, cơ quan)
  • Lưu trữ chi tiết danh sách nhà thầu tham dự, giá dự thầu, giá trúng thầu
  • Phân tích SWOT đối thủ cạnh tranh từ dữ liệu đấu thầu lịch sử
Thông báo & Báo cáo Tự động
  • Bản tin Email Digest hàng ngày gửi Top 5 gói thầu điểm cao nhất kèm link chi tiết
  • Cấu hình ngưỡng điểm tối thiểu (minScoreThreshold) và phân loại kết luận (allowedVerdicts) để gửi email
  • Phát tín hiệu realtime WebSocket (Socket.IO) khi chấm điểm hoàn tất
  • Lịch sử gửi email (TenderEmailHistory) để kiểm toán và đối soát

Giao diện & Chức năng

Bảng điều khiển danh sách gói thầu & Xếp hạng điểm số
Bảng điều khiển danh sách gói thầu & Xếp hạng điểm số
Chi tiết phân tích AI, HSMT đính kèm & Đánh giá rủi ro
Chi tiết phân tích AI, HSMT đính kèm & Đánh giá rủi ro
Quản lý nguồn crawl đa cổng (Việt Nam, Singapore, Mỹ)
Quản lý nguồn crawl đa cổng (Việt Nam, Singapore, Mỹ)
Nhật ký lịch sử crawl & Theo dõi trạng thái tiến trình
Nhật ký lịch sử crawl & Theo dõi trạng thái tiến trình
Quản lý người dùng & Phân quyền quản trị hệ thống
Quản lý người dùng & Phân quyền quản trị hệ thống