NEJM – Những hạn chế của việc học kiến thức y khoa mới và cập nhật với các mô hình ngôn ngữ lớn được tinh chỉnh thương mại
Các mô hình ngôn ngữ lớn (Large language models LLM) được sử dụng trong chăm sóc sức khỏe cần tích hợp kiến thức y tế mới và cập nhật để tạo ra các phản hồi chính xác và có liên quan.
Ví dụ, các hướng dẫn y tế và thông tin về thuốc thường xuyên được cập nhật hoặc thay thế khi có bằng chứng mới.
Để giải quyết nhu cầu này, các công ty như OpenAI, Google và Meta cho phép người dùng tinh chỉnh các mô hình độc quyền của họ thông qua các giao diện lập trình ứng dụng thương mại. Tuy nhiên, vẫn chưa rõ các LLM có thể tận dụng thông tin y tế cập nhật hiệu quả như thế nào thông qua các dịch vụ tinh chỉnh thương mại này.
Trong một Nghiên cứu điển hình mới được công bố trên NEJM AI, Eric Wu, Tiến sĩ, Kevin Wu, Tiến sĩ và James Zou, Tiến sĩ, đã tinh chỉnh một cách có hệ thống sáu mô hình ngôn ngữ lớn LLM tiên tiến — bao gồm GPT-4o, Gemini 1.5 Pro và Llama 3.1 — bằng cách sử dụng một tập dữ liệu mới về kiến thức y khoa mới và cập nhật.
Các tác giả nhận thấy rằng các mô hình này thể hiện sự khái quát hạn chế về các phê duyệt thuốc mới của FDA, hồ sơ bệnh nhân và các hướng dẫn y tế được cập nhật.
Trong số tất cả các mô hình đã được thử nghiệm, GPT-4o mini cho thấy hiệu suất mạnh nhất. Những phát hiện này nhấn mạnh những hạn chế hiện tại của việc tinh chỉnh các mô hình biên giới cho các trường hợp sử dụng y tế hiện đại.
Đọc bài Nghiên cứu “Limitations of Learning New and Updated Medical Knowledge with Commercial Fine-Tuning Large Language Models” của Tiến sĩ Eric W., Tiến sĩ Kevin Wu và Tiến sĩ James Zou: https://nejm.ai/4nTx1Np