Новости

Jul 28, 2023

ChatGPT прошел еще один медицинский осмотр, на шаг ближе к доктору медицины

ChatGPT становится

ChatGPT становится отличным инструментом для прохождения медицинских тестов.

Его последняя и самая продвинутая версия, ChatGPT-4, уже может с честью сдать экзамен на медицинскую лицензию в США. И теперь он стал на шаг ближе к тому, чтобы стать врачом-специалистом. Ну, типа того.

Во вторник ученые объявили, что новейшее программное обеспечение чат-бота от OpenAI может легко сдать экзамен по радиологии в канадском или американском стиле, набрав более десяти баллов выше проходного порога в 70%.

Но есть одна загвоздка: поскольку ChatGPT предназначен только для обработки языка (пока), радиологический осмотр ИИ не включал никаких изображений. Это похоже на серьезную оплошность в отрасли медицины, занимающейся диагностикой на основе рентгеновских лучей, МРТ и других изображений тела.

ChatGPT зарекомендовал себя как отличный экзаменатор — он сдал экзамены, включая SAT, экзамен на адвоката и даже сложные тесты на мастера-сомелье.

На радиологическом экзамене ChatGPT-4 получил проходной балл 81%. Бот показал особенно хорошие результаты в вопросах мышления более высокого порядка, которые требуют навыков, выходящих за рамки простого запоминания, таких как анализ, синтез и оценка; ChatGPT-4 хорошо описывал результаты визуализации (85%) и применял концепции (90%). Но он не так хорошо справился с некоторыми из наиболее простых вопросов теста и фактически ответил на 12 из этих вопросов неправильно, тогда как его предшественник, GPT 3.5, ответил правильно.

«Сначала мы были удивлены точными и уверенными ответами ChatGPT на некоторые сложные радиологические вопросы», — заявил в пресс-релизе автор исследования доктор Раджеш Бхайана, абдоминальный радиолог из больницы общего профиля Торонто. «Но тогда в равной степени удивлен и некоторыми весьма нелогичными и неточными утверждениями».

По своей сути ChatGPT просто предназначен для того, чтобы предсказывать лучшее следующее слово для произнесения — другими словами, он создан для того, чтобы общаться с вами. Эту болтливость можно легко использовать для выступлений на экзаменах, в результате чего экзаменуемый становится очень уверенным в себе (но иногда ошибающимся).

Профессор компьютерных наук Брауна Элли Павлик, эксперт по обработке естественного языка, говорит, что эта проблема не уникальна для чат-ботов. Ей всегда было трудно определить, действительно ли ученики понимают концепции, которым она учит, на основании своих письменных ответов на экзаменах.

«Если вы излагаете какие-то хорошо построенные формулировки, создается впечатление, что вы знаете, но, возможно, вы знаете, а может быть, и нет», — сказал Павлик во время недавнего круглого стола ChatGPT в Университете Брауна. «Это хороший показатель того, почему мы как бы хотим приписать ChatGPT гораздо больше знаний и осведомленности, чем есть на самом деле, потому что в хорошо построенном языке есть что-то такое, что действительно может маскировать [плохое] понимание».

Врачи говорят, что ChatGPT не следует использовать для диагностики или лечения пациентов, и его медицинскую точность всегда должен проверять человек. Но медицинские эксперты также обнаруживают, что ChatGPT может стать хорошим инструментом для улучшения общения врача со своими пациентами. Именно потому, что ChatGPT превосходно подшучивает, его часто считают более сострадательным, чем торопливых врачей.

Читать далее