Xử lý ngôn ngữ tự nhiên (NLP)

Đoạn văn bản định nghĩa Xử lý Ngôn ngữ Tự nhiên (NLP) là một nhánh của trí tuệ nhân tạo, tập trung vào việc ứng dụng trên ngôn ngữ của con người. NLP được nhấn mạnh là một trong những lĩnh vực khó khăn nhất trong AI do đòi hỏi khả năng hiểu ý nghĩa ngôn ngữ – công cụ then chốt của tư duy và giao tiếp. Mục tiêu chính của NLP là giúp hệ thống máy tính có thể hiểu và xử lý ngôn ngữ con người một cách hiệu quả. Dịch máy được nêu lên như một trong những ứng dụng quan trọng của NLP.

Văn bản tập trung vào bản chất của dữ liệu ngôn ngữ, bao gồm dữ liệu văn bản và tiếng nói. Đặc điểm chính của loại dữ liệu này là thiếu cấu trúc hoặc có cấu trúc nửa vời, khác biệt hoàn toàn so với dữ liệu có cấu trúc như bảng biểu. Theo thống kê từ Oracle, 80% dữ liệu của con người hiện nay thuộc loại không cấu trúc. Sự phát triển của Internet, sách báo điện tử, máy tính cá nhân và các thiết bị kỹ thuật số khác đã dẫn đến sự gia tăng nhanh chóng lượng dữ liệu văn bản và tiếng nói. Thách thức đặt ra là làm sao xử lý lượng dữ liệu khổng lồ này, chuyển đổi chúng từ dạng chưa hiểu sang dạng có thể hiểu và giải thích được, nhằm trích xuất thông tin và tri thức hữu ích.

Văn bản trình bày các ví dụ cụ thể về dữ liệu ngôn ngữ đa ngôn ngữ (tiếng Anh, Pháp, Nga, Việt) để minh họa cho khái niệm xử lý ngôn ngữ. Các câu tiếng nước ngoài được đưa ra nhằm nhấn mạnh sự cần thiết phải có khả năng dịch và biến đổi dữ liệu ngôn ngữ sang các dạng dễ hiểu hơn. Tiếp theo, tài liệu liệt kê một loạt các ứng dụng thực tiễn của NLP như nhận dạng chữ viết, nhận dạng tiếng nói, tổng hợp tiếng nói, dịch tự động, tìm kiếm thông tin, tóm tắt văn bản, khai phá dữ liệu và phát hiện tri thức. Điều này cho thấy tính đa dạng và tiềm năng to lớn của NLP trong giải quyết các vấn đề thực tế.

Một trong những điểm nhấn của văn bản là việc đề cập đến khối lượng dữ liệu văn bản khổng lồ hiện nay, ví dụ như trên Web và trong các thư viện điện tử. Trong tương lai gần, hầu hết sách báo và nguồn âm thanh sẽ được chuyển đổi thành dữ liệu điện tử thông qua các chương trình nhận dạng chữ viết, thu nhận âm thanh hoặc nhập liệu trực tiếp. Tuy nhiên, việc xử lý lượng dữ liệu khổng lồ này đòi hỏi các phương pháp hiệu quả để chuyển đổi chúng thành dạng dữ liệu có thể hiểu được, phục vụ cho việc truy xuất thông tin và tri thức.

Nhận dạng chữ viết (OCR), hay Optical Character Recognition, là một ứng dụng quan trọng của Xử lý Ngôn ngữ Tự nhiên (NLP). OCR cho phép chuyển đổi văn bản in trên giấy thành dữ liệu văn bản điện tử trên máy tính. Hai loại OCR được đề cập là nhận dạng chữ in (dễ hơn) và nhận dạng chữ viết tay (khó hơn do sự biến thiên trong kiểu chữ). Ứng dụng của OCR bao gồm chuyển đổi sách vở thành văn bản điện tử, ứng dụng trong khoa học hình sự và bảo mật thông tin (nhận dạng chữ ký điện tử). Về nhận dạng tiếng nói, NLP cho phép chuyển đổi tín hiệu sóng âm thanh thành dữ liệu văn bản, giúp người dùng thao tác trên thiết bị dễ dàng hơn (ví dụ đọc tài liệu lên và máy tự ghi lại). Ứng dụng này cũng hỗ trợ người khiếm thị và là bước đầu tiên cho tương tác giữa người và robot.

Tổng hợp tiếng nói (Speech Synthesis) là ứng dụng ngược lại với nhận dạng tiếng nói, chuyển đổi dữ liệu văn bản thành tiếng nói. Ứng dụng này giúp người dùng nghe thay vì đọc, hỗ trợ người khiếm thị và là bước cuối cùng trong giao tiếp giữa người và robot. Dịch máy (Machine Translation) là một ứng dụng quan trọng khác, dùng máy tính dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác. Mặc dù đã được nghiên cứu hơn 50 năm, chất lượng dịch máy vẫn còn nhiều hạn chế. Tại Việt Nam, lĩnh vực này đã được nghiên cứu hơn 20 năm, với các sản phẩm hiện tại còn nhiều thiếu sót. Một số phương pháp dịch máy được đề cập bao gồm dịch máy dựa trên luật, thống kê và ví dụ. Công ty Lạc Việt và Google được nhắc đến như những đơn vị tham gia vào lĩnh vực dịch máy tiếng Việt, với phần mềm evtrans của Softex từng được vdict.com mua bản quyền là một ví dụ.

Tìm kiếm thông tin (Information Retrieval) là ứng dụng phổ biến của NLP, cho phép tìm kiếm các tệp văn bản hoặc âm thanh có nội dung liên quan đến một vấn đề cụ thể. Google được đề cập là một ví dụ tiêu biểu của công nghệ này, tuy nhiên, khả năng tìm kiếm vẫn còn bị hạn chế, chủ yếu dựa trên từ khóa và chưa thực sự hiểu được ngữ cảnh. Trích chọn thông tin (Information Extraction) tập trung vào việc tìm kiếm các đoạn văn bản cụ thể liên quan đến một vấn đề từ một nguồn dữ liệu lớn, khác với tìm kiếm thông tin thông thường chỉ tìm trang web chứ không tìm nội dung cụ thể. Cuối cùng, khai phá dữ liệu văn bản (Knowledge Discovery and Text Data Mining) là một vấn đề phức tạp, nhắm đến việc khám phá ra những tri thức mới từ các nguồn dữ liệu văn bản, ngay cả khi các văn bản này không có mối liên hệ rõ ràng với nhau.

Văn bản chỉ ra rằng nhập nhằng là một hiện tượng thường gặp trong ngôn ngữ học, mặc dù trong giao tiếp hàng ngày con người thường xử lý tốt vấn đề này. Tuy nhiên, trong các ứng dụng Xử lý Ngôn ngữ Tự nhiên (NLP), đặc biệt là dịch máy, nhập nhằng trở thành một thách thức nghiêm trọng. Con người dễ dàng xác định nghĩa của từ dựa trên văn cảnh và các dấu hiệu khác, nhưng máy tính thì không. Ví dụ, từ "đường" trong câu "Ra chợ mua cho mẹ ít đường" có thể là "road" hoặc "sugar", việc lựa chọn chính xác phụ thuộc vào ngữ cảnh, một điều mà máy tính khó xử lý.

Một số hiện tượng nhập nhằng được đề cập đến bao gồm: nhập nhằng ranh giới từ (ví dụ, phân biệt giữa các giới từ khác nhau trong một câu), nhập nhằng từ đa nghĩa (một từ có nhiều nghĩa khác nhau), nhập nhằng từ đồng âm (các từ có âm đọc giống nhau nhưng nghĩa khác nhau), và nhập nhằng từ loại (sự không chắc chắn về chức năng ngữ pháp của một từ). Những hiện tượng này gây khó khăn cho việc xử lý ngôn ngữ tự động, làm giảm độ chính xác của các hệ thống NLP, đặc biệt là trong các ứng dụng đòi hỏi sự hiểu biết chính xác về ngữ nghĩa như dịch máy.

Dịch máy, một trong những ứng dụng chính của NLP, bị ảnh hưởng nặng nề bởi hiện tượng nhập nhằng. Mặc dù đã được nghiên cứu và phát triển hơn 50 năm, dịch máy vẫn gặp nhiều vấn đề cần nghiên cứu thêm. Ở Việt Nam, mặc dù đã có hơn 20 năm nghiên cứu, chất lượng dịch máy hiện tại vẫn còn nhiều hạn chế. Điều này một phần là do khó khăn trong việc xử lý các trường hợp nhập nhằng ngôn ngữ, đòi hỏi các thuật toán và mô hình ngôn ngữ phức tạp hơn để giải quyết.

Văn bản giới thiệu khái niệm Entropy như một độ đo thông tin, phản ánh mức độ không chắc chắn. Entropy thấp nghĩa là ít không chắc chắn, và ngược lại. Công thức tính Entropy được trình bày, với đơn vị là bits. Một ví dụ về mô hình mã hóa ký tự với entropy được đưa ra. Khái niệm Perplexity, được định nghĩa là 2 mũ Entropy, được giải thích như một thước đo chất lượng mô hình ngôn ngữ. Mô hình có Perplexity thấp (Entropy thấp) là mô hình tốt hơn, sử dụng ít bit để mã hóa thông tin. Công thức tính Entropy cho một dãy từ trong một ngôn ngữ cũng được nêu ra, cùng với khái niệm Entropy rate (Entropy trên mỗi từ). Quan hệ giữa Entropy và hiểu ngôn ngữ được đề cập, cho thấy Entropy thấp tương ứng với độ chính xác cao. Cross entropy được giới thiệu như một phương pháp để so sánh chất lượng của các mô hình ngôn ngữ khác nhau.

Giai đoạn phân tích cú pháp trong trình biên dịch được mô tả là quá trình nhóm các thẻ từ thành các cụm từ ngữ pháp, thường được biểu diễn bằng cây phân tích cú pháp (parse tree). Phân tích từ vựng (Lexical Analysis) là giai đoạn đầu tiên, đọc chương trình nguồn từ trái sang phải để tách ra thành các thẻ từ (token). Một ví dụ về quá trình phân tích từ vựng cho câu lệnh gán được đưa ra. Phân tích ngữ nghĩa (Semantic Analysis) thực hiện kiểm tra lỗi ngữ nghĩa và thu thập thông tin về kiểu dữ liệu cho giai đoạn sinh mã. Kiểm tra kiểu và ép kiểu là một phần quan trọng của phân tích ngữ nghĩa. Cấu trúc phân cấp của chương trình thường được diễn tả bằng quy luật đệ quy. Quá trình quản lý bảng ký hiệu và xử lý lỗi được thực hiện xuyên suốt tất cả các giai đoạn của trình biên dịch.

Trình biên dịch được chia thành hai kỳ chính: kỳ đầu (Front end) và kỳ sau (Back end). Kỳ đầu bao gồm các giai đoạn phụ thuộc vào ngôn ngữ nguồn và hầu như độc lập với máy đích, gồm phân tích từ vựng, phân tích cú pháp, phân tích ngữ nghĩa và sinh mã trung gian. Một phần tối ưu hóa mã và xử lý lỗi cũng được thực hiện ở kỳ đầu. Kỳ sau phụ thuộc vào máy đích và ngôn ngữ trung gian, bao gồm tối ưu hóa mã, phát sinh mã đích, xử lý lỗi và thao tác trên bảng ký hiệu. Việc cài đặt các hoạt động của nhiều giai đoạn có thể được nhóm lại với nhau trong thực tế.

Trong quá trình biên dịch, phân tích cú pháp đóng vai trò quan trọng trong việc nhóm các thẻ từ (tokens) nhận được từ giai đoạn phân tích từ vựng thành các cụm từ ngữ pháp (grammatical phrases). Kết quả của quá trình này thường được biểu diễn dưới dạng cây phân tích cú pháp (parse tree), thể hiện cấu trúc phân cấp của chương trình nguồn. Cấu trúc này thường tuân theo quy luật đệ quy, cho phép mô tả một cách hiệu quả cấu trúc phức tạp của chương trình. Giai đoạn này đảm bảo tính hợp lệ về mặt cú pháp của chương trình trước khi tiến hành các giai đoạn tiếp theo.

Phân tích từ vựng là giai đoạn đầu tiên trong quá trình biên dịch. Giai đoạn này quét chương trình nguồn từ trái sang phải (scanning) để tách chương trình nguồn thành các thẻ từ (tokens). Mỗi thẻ từ đại diện cho một đơn vị ngữ pháp cơ bản trong ngôn ngữ lập trình. Ví dụ, trong câu lệnh gán position := initial + rate * 60, quá trình phân tích từ vựng sẽ tách ra các tokens như position, :=, initial, +, rate, *, 60. Đây là bước chuẩn bị quan trọng cho giai đoạn phân tích cú pháp tiếp theo.

Phân tích ngữ nghĩa kiểm tra xem chương trình nguồn có lỗi về ngữ nghĩa hay không và thu thập thông tin về kiểu dữ liệu cho giai đoạn sinh mã. Một phần quan trọng trong giai đoạn này là kiểm tra kiểu (type checking), đảm bảo sự tương thích giữa các kiểu dữ liệu trong chương trình. Ví dụ, nếu biến position được khai báo là kiểu số thực (real) và rate cũng là số thực, trong khi 60 là số nguyên (integer), trình biên dịch sẽ tự động chuyển đổi 60 thành số thực 60.0 để đảm bảo tính toán chính xác. Giai đoạn này cũng xử lý các vấn đề liên quan đến ép kiểu (type casting).

Trình biên dịch được chia thành các giai đoạn, mỗi giai đoạn chuyển đổi chương trình nguồn từ một dạng biểu diễn này sang dạng khác. Việc quản lý bảng ký hiệu và xử lý lỗi được thực hiện xuyên suốt tất cả các giai đoạn. Các giai đoạn được thực hiện theo trình tự logic, nhưng trong thực tế, việc cài đặt có thể nhóm các hoạt động của nhiều giai đoạn lại với nhau. Hai nhóm cơ bản là kỳ đầu (Front end) bao gồm phân tích từ vựng, phân tích cú pháp, phân tích ngữ nghĩa và sinh mã trung gian; và kỳ sau (Back end) bao gồm tối ưu hóa mã, phát sinh mã đích và xử lý lỗi.