Tác giả: Hugo, Robonaissance
Biên dịch: Deep潮 TechFlow
Dẫn nhập của Shenchao: Từ các tác nhân trò chơi Atari sớm đến các mô hình ngôn ngữ lớn với cửa sổ ngữ cảnh hàng triệu, trí tuệ nhân tạo luôn đối mặt với một mâu thuẫn vật lý cơ bản khi đưa ra quyết định liên tục qua thời gian: mô hình có thể dễ dàng chứa đựng lượng tri thức tĩnh khổng lồ của con người, nhưng trong môi trường tương tác động, nó không thể mang theo toàn bộ chi tiết quá khứ một cách nguyên vẹn.
Dưới các ràng buộc cứng về năng lực tính toán và cửa sổ ngữ cảnh, cách nén quá khứ đồng thời tinh luyện chính xác trạng thái cốt lõi quyết định tương lai không chỉ là đột phá kỹ thuật để giải quyết “sự nhầm lẫn nhận thức”, mà còn là logic nền tảng để các tác nhân tự chủ tiến tới trí nhớ bền vững thực sự.
Tình trạng nghịch lý dưới khung hình dừng
Đây là tập 3 của chuỗi “Ký ức, esquecimento và Tự tôi trong máy móc”: Khi các tác nhân không thể mang theo toàn bộ quá khứ, trí tuệ sẽ hành động xuyên thời gian như thế nào.
Hãy thử đóng khung một khung hình kinh điển của trò chơi Pong.
Trên màn hình chỉ có hai cây vợt, một quả bóng và tỷ số hiện tại. Lúc này, nếu bạn được yêu cầu nói rằng quả bóng đang bay về phía nào, bạn hoàn toàn không thể làm được, ngay cả khi đưa cùng một khung hình tĩnh này cho máy tính, máy tính cũng không thể xác định được.
Các học giả Matthew Hausknecht và Peter Stone đã chỉ rõ trong bài báo năm 2015 về tác nhân học cách chơi game Atari: “Màn hình một khung hình hiện tại chỉ có thể tiết lộ vị trí của vợt và bóng, nhưng không thể tiết lộ tốc độ của bóng.”
Họ tiếp tục giải thích tại sao điều này lại quan trọng: “Việc biết được hướng di chuyển của quả bóng là yếu tố then chốt để xác định vị trí lý tưởng của vợt.”
Khung hình này là chính xác, mọi chi tiết trên màn hình đều nằm đúng vị trí của chúng. Nhưng chỉ với một khung hình đơn lẻ này, vẫn chưa đủ để chơi trò chơi này.
Cảm biến tại chính khoảnh khắc hiện tại chỉ ghi nhận được một “giá trị quan sát (Observation)”.
Trong khi đó, trạng thái toàn cục thực tế mà hành động tiếp theo của tác nhân phụ thuộc vào là "trạng thái hệ thống (State)".
Trong trò chơi Pong, các quan sát và trạng thái hệ thống là tách biệt trên từng khung hình đơn lẻ. Vì hướng di chuyển của quả bóng là một yếu tố dựa trên vài khoảnh khắc trước đó, không có khoảnh khắc cô lập nào có thể chứa đựng nó một mình.
Khi đầu vào tức thời trước mắt không đủ để đưa ra quyết định, một hệ thống hoạt động tốt phải truyền tải một số thông tin từ quá khứ của nó đến hiện tại.
Nhưng những gì nó ghi lại không bao giờ là quá khứ đầy đủ. Những gì nó ghi lại chỉ là một bản tóm tắt, và việc lựa chọn nội dung trong bản tóm tắt này hoàn toàn phụ thuộc vào điều nó cần dự đoán tiếp theo.
Sự đánh đổi này quyết định nền tảng thông tin mà các thời điểm tiếp theo sẽ có. Bất kỳ chi tiết nào bị bỏ sót trong bản tóm tắt, các thời điểm sau này sẽ vĩnh viễn không thể phản ứng dựa trên nó.
Sự đánh đổi bộ nhớ bốn khung độ sâu
Hausknecht và Stone đã phản hồi với hệ thống chính là tác nhân DQN do Volodymyr Mnih và các đồng nghiệp của DeepMind công bố trên tạp chí Nature năm 2015.
DQN có thể học cách chơi hàng chục trò chơi Atari chỉ thông qua hình ảnh màn hình, trong khi các tác giả của bài báo đã gặp khó khăn với tình trạng hình ảnh bị đóng băng ngay từ giai đoạn đầu phát triển.
Trong phần phương pháp của bài báo, họ viết: “Vì tác nhân chỉ có thể quan sát màn hình hiện tại, nhiệm vụ này thuộc trạng thái quan sát một phần, nhiều trạng thái mô phỏng bị nhầm lẫn về mặt cảm giác (Perceptually Aliased).”
Nói cách khác, chỉ dựa vào hình ảnh màn hình hiện tại thì hoàn toàn không thể cung cấp cho tác nhân toàn bộ tình huống.
“Nhận thức hỗn loạn” là một mô tả học thuật chính xác cho những phiền toái hàng ngày. Hai tình huống hoàn toàn khác nhau (ví dụ: quả bóng đang bay về phía vợt của bạn hoặc quả bóng đang bay ra khỏi vợt của bạn) sẽ tạo ra cùng một hình ảnh trong khung hình tĩnh.
Một hệ thống chỉ dựa vào hình ảnh buộc phải coi chúng là cùng một tình huống; nếu hai tình huống này yêu cầu thực hiện các thao tác hoàn toàn ngược nhau, hệ thống chắc chắn sẽ mắc lỗi trong một trong hai trường hợp.
Phương pháp khắc phục của họ rất trực tiếp. Mạng không còn chỉ nhận một khung hình màn hình, mà sẽ chồng các khung hình gần nhất lại với nhau làm đầu vào.
Mặc định được đặt ở 4 khung, mặc dù thuật toán cũng có khả năng thích ứng với giá trị 3 hoặc 5 khung.
Khi đặt bốn khung hình cạnh nhau, chuyển động của quả bóng trở nên hiển nhiên như một sự thay đổi vị trí. Hướng chuyển động không còn là một khái niệm cần ghi nhớ một cách trừu tượng, mà đã trở thành một thuộc tính thị giác có thể nhìn thấy trực tiếp.
Bài luận không gọi nhóm hình ảnh chồng lên nhau này là ký ức. Về bản chất, nó chỉ là một kênh đầu vào rộng hơn một chút so với một khoảnh khắc đơn lẻ.
Sự nhầm lẫn về nhận thức và ranh giới vật lý cứng
Độ rộng đầu vào này có ranh giới vật lý cực kỳ cứng nhắc, Hausknecht và Stone đã mô tả chính xác vị trí của ranh giới này.
Họ viết: Vì DQN được huấn luyện bằng đầu vào gồm bốn trạng thái gần nhất mà tác nhân đã trải qua, “nếu một trò chơi yêu cầu người chơi ghi nhớ các sự kiện xa hơn bốn màn hình trước đó, DQN sẽ không thể nắm bắt được trò chơi đó.”
Đối với DQN, lịch sử sau màn hình thứ năm tính từ cuối cùng hoàn toàn không nằm trong phạm vi đầu vào của nó.
Cơ chế dựa trên cửa sổ trượt cố định này trực tiếp làm rõ mâu thuẫn cốt lõi của trí tuệ máy tính trong xử lý chuỗi thời gian: bất kể cửa sổ được mở rộng đến đâu, thông tin nằm ngoài ranh giới đều bị xóa bỏ một cách vật lý.