Signaling và việc áp dụng lệch lạc AI đắt đỏ
Cảnh giác với các bài toán khó và giải pháp đắt tiền
Tôi đã lập luận rằng phong cách generative AI phổ biến ngày nay về cơ bản là chậm và không đáng tin cậy. Để mở ra khả năng áp dụng của các phong cách khác (quan trọng nhất là những phong cách dựa trên symbolic reasoning và chứng minh), tôi cũng đã lập luận cho một dạng learning loop khác biệt, nơi chúng ta vượt ra ngoài việc liên tục cải thiện một mô hình dựa trên các sai lầm mà nó mắc phải, đồng thời tạo ra các thay đổi chiến lược đối với thế giới và cách đặt vấn đề (problem formulation), nhằm hướng tới việc đơn giản hóa các thách thức AI. Các ví dụ bao gồm việc đơn giản hóa hoặc tránh sử dụng natural-language processing (ví dụ: bằng cách sử dụng các phương thức giao tiếp định hướng cho máy tính), computer vision (ví dụ: bằng cách sắp xếp lại môi trường để có cấu trúc hình học đều đặn hơn), và các nhiệm vụ lập trình đầy thách thức (ví dụ: bằng cách áp dụng các ngôn ngữ lập trình tốt hơn).
Quan điểm này cách rất xa dòng chính thống (mainstream) đến mức nó thậm chí còn không nằm trong danh sách các vị thế khả dĩ mà mọi người thường chuẩn bị sẵn sàng để tranh luận. Một giả thuyết tự nhiên là thành công trong thế giới thực về cơ bản đòi hỏi phải giải quyết các bài toán AI khó quen thuộc, vì vậy chúng ta thực sự cần kiên trì với các kỹ thuật như deep learning vốn có thành tích tốt nhất trong việc giải quyết các vấn đề đó. Giả thuyết đó tương thích với tư duy kỹ thuật, nơi mà khi xây dựng các sản phẩm tốt hơn, chúng ta có thể cần phải đánh đổi giữa các khía cạnh như tính tổng quát (generality), tốc độ (speed) và độ tin cậy (reliability) – và sự thành công của deep learning về tính tổng quát đã bù đắp cho những điểm yếu ở các khía cạnh khác.
Chủ đề của tôi trong bài viết này là cách mà các tuyên bố như vậy thường chỉ là những sự hợp lý hóa sau khi sự việc đã xảy ra (after-the-fact rationalizations). Có những lý do khác, bắt nguồn từ tâm lý học tiến hóa, giải thích tại sao chúng ta nên kỳ vọng rằng cách tiếp cận phổ biến hiện nay, được tượng trưng bởi các LLMs và các hệ thống xây dựng trên chúng, lại có sức quyến rũ đến vậy. Bằng cách làm rõ các lý do đó, chúng ta có thể trang bị thông tin tốt hơn cho bản thân để lựa chọn công nghệ phù hợp cho từng công việc. Điểm mấu chốt sẽ là các khía cạnh quen thuộc của việc triển khai AI quy mô lớn rất hữu ích cho các cá nhân muốn xây dựng vị thế xã hội (status), theo những cách tạo ra các perverse incentives mâuthuẫn với các mục tiêu kỹ thuật truyền thống.
Signaling: Sự Thể hiện Tốn kém
Trước đây tôi đã đề cập đến hiện tượng signaling, nơi các loài động vật thực hiện các hoạt động thể hiện sự sung mãn (fitness) tốn kém để người quan sát tin rằng chúng xứng đáng làm bạn đời, đối tác liên minh, v.v. Tôi đã trình bày signaling như một mẹo thú vị để đẩy nhanh tiến hóa, nơi người quan sát không phải đợi các cá thể gặp những tình huống hiếm hoi để thể hiện kỹ năng của mình, thay vào đó các cơ hội thường xuyên được tạo ra để phô diễn các kỹ năng đó trong các hoàn cảnh nhân tạo. Việc có thông tin đáng tin cậy sớm hơn giúp quá trình tiến hóa cải thiện nhanh hơn, bằng cách hướng nhiều tài nguyên hơn đến các cá thể triển vọng nhất. Con người đặc biệt linh hoạt trong khả năng học các trò chơi signaling mới, những thứ thậm chí có thể chưa tồn tại khi họ sinh ra, chưa nói đến phần lớn quá trình tiến hóa của chúng ta trước khi hội tụ thành anatomically modern humans chỉ vài trăm nghìn năm trước. Tôi đã đề xuất "programmable evolution" như một cách hữu ích để mô tả tính linh hoạt đó.
Một ví dụ kinh điển trong sách giáo khoa về việc signaling thông qua tiêu dùng phô trương (conspicuous consumption) là potlach, một loại lễ hội của người bản địa ở Bắc Mỹ. Tại một bữa tiệc như vậy, một thủ lĩnh bộ lạc sẽ tặng hoặc phá hủy hoàn toàn nhiều vật phẩm được coi là có giá trị. Mục đích chính xác là chỉ một thủ lĩnh hoặc bộ lạc rất giàu có mới có thể đủ khả năng vứt bỏ nhiều tài sản như vậy. Ngược lại, sự giàu có đó được coi là phát sinh từ hiệu quả trong việc lãnh đạo và lập kế hoạch, tạo ra một tín hiệu rất rõ ràng về phẩm chất lãnh đạo. Chúng ta không thể tin tưởng một thủ lĩnh chỉ qua bài phát biểu giải thích về những chiến tích của anh ta. Tất cả chúng ta đều biết việc tự tâng bốc bản thân dễ dàng thế nào, chỉ chọn lọc những chủ đề có lợi. Thay vào đó, chúng ta cần một tín hiệu đắt đỏ để làm giả (expensive to fake), và còn gì tốt hơn là sự phá hủy vô cớ các vật thể được biết là đòi hỏi sự phối hợp và tài năng lớn để tạo ra?
Một nghiên cứu tương đối gần đây mà tôi yêu thích là Very Important People: Status and Beauty in the Global Party Circuit, nghiên cứu về các nghi lễ trong các hộp đêm ngày nay.
Điểm mấu chốt là chúng ta tìm thấy những điểm tương đồng dễ dàng giữa nhân học trường phái cũ và các hoạt động phô diễn wealth-signaling ngày nay. Hành vi signaling xung quanh một loạt các phẩm chất đáng ngưỡng mộ là phổ biến trong thế giới của chúng ta, ví dụ như coi nghệ thuật là một cách để báo hiệu khả năng nhận thức. Bây giờ chúng ta có thể chuyển sang các chi tiết cụ thể của các hiện tượng này xung quanh các hệ thống được hỗ trợ bởi AI.
Các Bài toán Khó và Giải pháp Đắt đỏ
Hãy bắt đầu bằng việc suy nghĩ về cách các software engineers ưu tú xây dựng và duy trì vị thế của họ trong ngành công nghệ toàn cầu. Hãy tưởng tượng một kỹ sư đã nộp đơn xin việc, và nền tảng trong danh mục sản phẩm (portfolio) của anh ta là một stack công nghệ hoàn toàn mới, từ phần cứng tùy chỉnh trở lên, mà anh ta đã xây dựng để giải quyết một vấn đề quan trọng. Ở một góc độ nào đó, chúng ta vô cùng ấn tượng bởi sự đa năng của anh ta. Tuy nhiên, chúng ta cũng thấy rất khó để biết phần nào trong công việc của anh ta là thực sự khó – và tất nhiên chúng ta muốn tuyển dụng những người thông minh, giỏi giải quyết các bài toán khó. Chúng ta biết các stack công nghệ phổ biến ngày nay và khía cạnh nào đòi hỏi kỹ năng nào để thực hiện một cách thành thạo. Công việc đánh giá ứng viên của chúng ta sẽ dễ dàng hơn nhiều nếu anh ta chọn một trong những lĩnh vực đã được thiết lập để tập trung vào.
Các ứng viên hiểu rõ động lực này, có lẽ không phải lúc nào cũng hoàn toàn có ý thức. Với việc AI là lĩnh vực hot nhất hiện nay, không chỉ việc xây dựng portfolio về công việc AI là có giá trị đối với các kỹ sư, mà họ còn có lợi khi chọn trong số các danh mục tương đối nhỏ gồm các bài toán AI "tiêu chuẩn" vốn được hiểu rộng rãi bởi những người đưa ra quyết định tuyển dụng. Vì vậy, giờ đây chúng ta có dạng thức vô hại nhất của động lực signaling dẫn đến việc bị khóa chặt (lock-in) trong việc lựa chọn các bài toán AI.
Tuy nhiên, các tác động còn sai lệch (perverse) hơn những gì câu chuyện đó gợi ý. Trò chơi signaling hiệu quả hơn khi chúng liên quan đến các bài toán khó hơn, vì vậy ngành công nghệ có xu hướng các kỹ sư ưu tú chọn các bài toán khó nhất để làm việc. Động lực này tồn tại ngay cả khi các bài toán khó nhất không tương thích với các giải pháp kỹ thuật tốt nhất cho các vấn đề thực tế ở bất kỳ khía cạnh nào, như chi phí, tốc độ hoặc chất lượng quyết định. Bản thân độ khó đã mang lại giá trị riêng. Chỉ để tránh ấn tượng là đang công kích một cộng đồng kỹ thuật từ tòa tháp ngà học thuật của riêng mình, tôi sẽ đề cập rằng tôi đã quan sát thấy một động lực tương tự trong thế giới ngôn ngữ lập trình, nơi nhiều kỹ sư trong vòng kết nối của tôi thích các ngôn ngữ lập trình như Haskell và đặc biệt là những cách sử dụng trừu tượng biến việc lập trình thành các câu đố đầy thách thức, áp dụng mã phức tạp hơn mức cần thiết để giải quyết một vấn đề, vì tình yêu đối với các rào cản toán học cần phải vượt qua. Một lập trình viên với tư duy này thường không suy nghĩ một cách có ý thức rằng "tôi muốn làm cho công việc của mình khó hơn", nhưng tôi lập luận rằng các động lực tiến hóa giải thích tại sao cảm giác tìm kiếm các bài toán khó mà hầu hết mọi người không giải được lại là tự nhiên và thỏa mãn.
Tôi cũng muốn nhấn mạnh rằng công việc AI tiên phong hiện nay đang làm những điều tuyệt vời, với những nỗ lực cực kỳ thành công trong việc giải quyết các bài toán khó theo những cách mới mang lại giá trị phi thường cho xã hội. Tuy nhiên, chúng ta nên cảnh giác với tác động của signaling đối với các động lực thúc đẩy. Chúng ta cũng nên chú ý đến khả năng thiết kế lại hệ thống ở các cấp độ cao hơn, sao cho các cấp độ thấp hơn không còn chứa các bài toán AI đầy thách thức nữa – dù có thể cảm thấy đáng tiếc khi mất đi cơ hội giải quyết các vấn đề đó một cách anh hùng.
Bây giờ chúng ta đã đi được hai bước lên nấc thang về cách thức signaling định hình các lựa chọn kỹ thuật, tiến triển qua các nguyên nhân gốc rễ nghe ngày càng kém cao quý hơn. Việc signaling mà chúng ta đã đề cập cho đến nay diễn ra trong các cộng đồng chuyên gia tương đối hẹp: các kỹ sư đánh giá các kỹ sư. Việc thuyết phục các lao động tri thức hiện đại từ bỏ việc tôn vinh việc giải quyết các bài toán khó có thể là một cuộc chiến gian nan, ngay cả khi các kỹ sư thường đồng ý trên lý thuyết rằng việc tìm cách phân rã một mục tiêu thành các bài toán phụ tốn ít chi phí nhất để giải quyết là tốt hơn. Được rồi, nhưng tiếp theo hãy để tôi xem xét một dạng signaling khác mâu thuẫn với nhiều giá trị mà chúng ta tuyên bố, nơi mà trong khi các chuyên gia có thể tạo ra các tín hiệu, thì các tín hiệu đó lại có thể được đánh giá bởi một nhóm công chúng chung.
Các ví dụ trước tập trung vào chi phí lao động của các software engineers chuyên gia hiếm hoi. Các bài toán AI khó hơn đòi hỏi phải trả nhiều tiền hơn cho các chuyên gia hiếm hơn. Tuy nhiên, một đại diện khác cho độ khó của bài toán mang tính hướng dẫn: chi phí phần cứng cần thiết để triển khai các giải pháp cạnh tranh. Mặt hàng biểu trưng ngày nay trong danh mục đó là GPU, người họ hàng của CPUs vốn là lựa chọn phổ biến áp đảo để triển khai deep learning. Có một sự hội tụ đáng kinh ngạc về giá cả giữa GPUs và đồng hồ sang trọng, với các mẫu phổ biến có giá lên tới hàng chục nghìn đô la mỗi chiếc (xem các nguồn cho GPUs và đồng hồ). Có lẽ giá GPU bị đẩy lên bởi những thách thức chuỗi cung ứng thực sự để đáp ứng nhu cầu phi thường, trong khi giá đồng hồ cao cấp phản ánh sự khan hiếm có chủ ý và các tính năng bổ sung được đưa vào chính xác vì chúng làm tăng giá. Tuy nhiên, chúng ta vẫn kết thúc với việc GPUs đóng vai trò thứ yếu để thể hiện tiêu dùng phô trương, giống như các tác phẩm nghệ thuật bị phá hủy một cách nghi thức tại các lễ hội potlach. Tuyên bố cuối cùng đó có thể đồng tồn tại với sự phù hợp tuyệt vời giữa GPUs và việc triển khai deep learning, điều này chỉ giúp che giấu động cơ signaling mà không làm giảm đi hiệu lực của nó.
Sau đó chúng ta có data center, cực kỳ quan trọng ngày nay để chứa các GPUs. Lẽ tự nhiên, chi phí của một data center cao hơn đáng kể so với chi phí của chỉ một máy tính bên trong nó, tạo ra một tín hiệu giàu có thậm chí còn mạnh mẽ hơn. Các data centers cũng có lợi thế đáng kể trong việc signaling tới xã hội rộng lớn. Chỉ những người am hiểu công nghệ (geeks) mới biết đủ về GPUs để so sánh chúng và quyết định mẫu nào ấn tượng nhất, thay vì chỉ nhìn vào nhãn giá (vốn thường không được treo lủng lẳng trên GPU được triển khai bằng một sợi dây!). Có thể có một động lực tương tự với đồng hồ sang trọng, nơi chỉ một người sành sỏi mới có thể phân biệt được các mẫu ở các mức giá khác nhau hoàn toàn. Tuy nhiên, một data center là một cơ sở lớn tiêu thụ lượng điện khổng lồ. Rất dễ dàng để các thành viên thuộc giới tinh hoa toàn cầu trong các ngành công nghiệp hiểu rằng một cơ sở như vậy phải cực kỳ đắt đỏ và biểu thị sự thành công của bất kỳ tổ chức nào sở hữu nó.
Ở mọi quy mô công ty công nghệ, chúng ta có thể thấy một động lực chung về signaling với việc triển khai phần cứng AI (AI-hardware). Các công ty lớn nhất cạnh tranh để công bố việc xây dựng các data centers ngày càng lớn hơn, cũng như các giải pháp mang tính đột phá cho các bài toán AI ngày càng khó hơn (kết nối với ví dụ trước về động lực giải quyết bài toán khó). Các start-ups non trẻ có thể trải qua những thời kỳ khó khăn và sau đó, sau khi có được thành công mới trong bán hàng hoặc thu hút đầu tư, báo hiệu thành công của họ rất rõ ràng bằng cách mua GPUs. Các nhà đồng sáng lập cảm thấy nhẹ nhõm khi, trái ngược với những giai đoạn trước khi không ai biết họ có "thực chất" hay không, thì giờ đây mọi người đều có thể thấy "họ thực sự đã thành công" khi kho dự trữ GPU của họ đủ lớn. Việc phát hành open-source software hoặc open-weight models cũng có thể là một mẹo signaling tốt, nếu rõ ràng là các sản phẩm đó chỉ có thể được tạo ra bằng cách đốt cháy lượng tài nguyên tính toán khổng lồ, ví dụ như huấn luyện mô hình bằng cách sử dụng trang trại GPU của bạn.
Nhân tiện, ngay cả các kỹ sư cá nhân cũng có thể cảm nhận được lời kêu gọi của các giải pháp đắt đỏ hơn trong công việc hàng ngày của họ. Gần đây đã có một sự xôn xao lớn xung quanh việc tiết lộ về việc các công ty công nghệ duy trì các bảng xếp hạng nội bộ về cơ bản là xem software engineers nào chi tiêu nhiều nhất cho các công cụ AI. Chắc chắn có một mối tương quan giữa chi phí của các dịch vụ AI được sử dụng để xây dựng một sản phẩm kỹ thuật nào đó và thách thức cố hữu (hoặc giá trị kinh doanh) của việc xây dựng sản phẩm đó, nhưng chúng ta có thể rơi vào những tình huống kỳ lạ nếu chỉ đo lường và khuyến khích khía cạnh chi phí này.
Kết luận
Kỹ thuật liên quan đến việc điều phối các sự đánh đổi giữa các khía cạnh như chi phí, tốc độ và độ chính xác. Tuy nhiên, hiện tượng signaling mà tôi phác thảo đã thúc đẩy các thành viên trong ngành công nghệ, thường là không nhận thức được một cách có ý thức, tối ưu hóa một cách sai lệch để tập trung vào các bài toán khó (tinh thần của kỹ thuật là thích đơn giản hóa các bài toán) và các giải pháp đắt đỏ (trong khi việc tối đa hóa chi phí hiếm khi là một phần của sự đánh đổi kỹ thuật cổ điển). Các thành viên từ CEO đến các kỹ sư tập sự đều có thể xây dựng vị thế xã hội, cả trong cộng đồng chuyên gia của họ và trong toàn xã hội, bằng cách gắn mình với các giải pháp đắt đỏ cho các bài toán khó. Sức hút này mạnh mẽ nhất đối với các bài toán và giải pháp vốn hiển nhiên là khó hoặc đắt đỏ đối với công chúng có trình độ rộng lớn, và chúng ta nên hành động để chống lại sức hút đó.
Quá trình tiến hóa đã để lại cho chúng ta nhiều thói quen xấu – hoặc những cách suy nghĩ rõ ràng là không phù hợp với cuộc sống hiện đại. Ví dụ, khi còn là những đứa trẻ, chúng ta học được rằng việc áp dụng một chế độ ăn toàn kẹo không phải là một bước đi khôn ngoan, ngay cả khi tổ tiên của chúng ta 100.000 năm trước hiếm khi gặp đường đến mức họ luôn chiến thắng bằng cách tiêu thụ nhiều nhất có thể những gì họ tìm thấy. Các hệ thống kỹ thuật ngày nay phức tạp hơn rất nhiều so với bất kỳ thứ gì tổ tiên chúng ta từng đối phó, làm giảm đi tính liên quan trong bản năng báo hiệu sự thành công của họ bằng cách hiển thị các giải pháp đắt đỏ cho các bài toán khó. Chúng ta nên tuân theo tinh thần thực sự của kỹ thuật và luôn trân trọng cơ hội để đơn giản hóa một bài toán bằng cách thay đổi thiết kế hệ thống ở cấp độ cao hơn. Đôi khi việc đơn giản hóa thế giới tự nó là một thách thức kỹ thuật, và chúng ta nên đề phòng những perverse incentives khi lựa chọn thực hiện nó, nhưng thường thì việc đầu tư thay đổi thế giới sẽ mang lại lợi ích trong các bài toán phụ kỹ thuật đơn giản hơn mãi mãi về sau.
Deep learning và các công nghệ tương tự đặc biệt có khả năng vượt trội ở các bài toán khó do quá trình tiến hóa tạo ra mà chúng ta có thể khắc phục được ngày nay, như tôi sẽ khám phá khi xem xét compute stack nên khác biệt như thế nào để tận dụng các bài toán có cấu trúc logic tao nhã. Nếu mọi việc suôn sẻ, chúng ta sẽ không cần phải phụ thuộc vào những thứ tương đương với đồng hồ sang trọng trong thế giới phần cứng máy tính nữa! Việc nhận được các hệ thống đáng tin cậy hơn như một phần thưởng sẽ không gây hại gì, trong một thế giới với nhiều phần của nền kinh tế được bàn giao cho các AI agents trong một hệ sinh thái được chăm chút kỹ lưỡng.



