Hi a Thắng, chỗ code mode e hơi confuse xíu mong anh giải thích rõ hơn, nếu dùng code mode để viết python code để call api thì bản thân llm cũng phải load hết tool definition lên context để biết python code nên call tools gì trong python code đúng không anh ?
Như vậy thì nó đâu giải quyết dc context bloating giống tool search tool nhỉ ? Không biết e hiểu vậy đúng không ? Nhưng nó sẽ giải quyết dc bài toàn multi round trip call apis. Mong anh giải thích chỗ này xíu do e đọc hơi confuse
Hi em, rất vui vì em quan tâm cách tiếp cận này. Hiện code mode thì sẽ dùng 3 tools thôi: search, get_schema and execute (codemode ở đây), nên dù thế nào thì nó chỉ load đúng 3 tools này vô context window thôi, lúc user query, vdu như tìm tất cả lò rượu ở Mỹ thì nó sẽ gọi tool search để tìm tất cả các tool khả thi nhất (cái này mình load nó vô lúc ứng dụng start - 100 hay 1000 cũng ok, miễn bộ nhớ đủ), thế là nó sẽ search ra dc 1 số tool khả thi nhất, xong rồi LLM sẽ đọc gọi get_schema tool để load hết các metadata của số tool vừa tìm dc này, cuối cùng do có metadata của các tool (ảo) đó thì LLM sẽ viết dc code và dùng execute tool để call nó, lúc này khi execute tool dc gọi nó sẽ load toàn bộ cái sandbox lên và chạy thôi. Hy vọng giúp e hiểu dc cách tiếp cận này. Thân
For further actions, you may consider blocking this person and/or reporting abuse
We're a place where coders share, stay up-to-date and grow their careers.
Hi a Thắng, chỗ code mode e hơi confuse xíu mong anh giải thích rõ hơn, nếu dùng code mode để viết python code để call api thì bản thân llm cũng phải load hết tool definition lên context để biết python code nên call tools gì trong python code đúng không anh ?
Như vậy thì nó đâu giải quyết dc context bloating giống tool search tool nhỉ ? Không biết e hiểu vậy đúng không ? Nhưng nó sẽ giải quyết dc bài toàn multi round trip call apis. Mong anh giải thích chỗ này xíu do e đọc hơi confuse
Hi em, rất vui vì em quan tâm cách tiếp cận này. Hiện code mode thì sẽ dùng 3 tools thôi: search, get_schema and execute (codemode ở đây), nên dù thế nào thì nó chỉ load đúng 3 tools này vô context window thôi, lúc user query, vdu như tìm tất cả lò rượu ở Mỹ thì nó sẽ gọi tool search để tìm tất cả các tool khả thi nhất (cái này mình load nó vô lúc ứng dụng start - 100 hay 1000 cũng ok, miễn bộ nhớ đủ), thế là nó sẽ search ra dc 1 số tool khả thi nhất, xong rồi LLM sẽ đọc gọi get_schema tool để load hết các metadata của số tool vừa tìm dc này, cuối cùng do có metadata của các tool (ảo) đó thì LLM sẽ viết dc code và dùng execute tool để call nó, lúc này khi execute tool dc gọi nó sẽ load toàn bộ cái sandbox lên và chạy thôi. Hy vọng giúp e hiểu dc cách tiếp cận này. Thân