Hi em, rất vui vì em quan tâm cách tiếp cận này. Hiện code mode thì sẽ dùng 3 tools thôi: search, get_schema and execute (codemode ở đây), nên dù thế nào thì nó chỉ load đúng 3 tools này vô context window thôi, lúc user query, vdu như tìm tất cả lò rượu ở Mỹ thì nó sẽ gọi tool search để tìm tất cả các tool khả thi nhất (cái này mình load nó vô lúc ứng dụng start - 100 hay 1000 cũng ok, miễn bộ nhớ đủ), thế là nó sẽ search ra dc 1 số tool khả thi nhất, xong rồi LLM sẽ đọc gọi get_schema tool để load hết các metadata của số tool vừa tìm dc này, cuối cùng do có metadata của các tool (ảo) đó thì LLM sẽ viết dc code và dùng execute tool để call nó, lúc này khi execute tool dc gọi nó sẽ load toàn bộ cái sandbox lên và chạy thôi. Hy vọng giúp e hiểu dc cách tiếp cận này. Thân
For further actions, you may consider blocking this person and/or reporting abuse
We're a place where coders share, stay up-to-date and grow their careers.
Hi em, rất vui vì em quan tâm cách tiếp cận này. Hiện code mode thì sẽ dùng 3 tools thôi: search, get_schema and execute (codemode ở đây), nên dù thế nào thì nó chỉ load đúng 3 tools này vô context window thôi, lúc user query, vdu như tìm tất cả lò rượu ở Mỹ thì nó sẽ gọi tool search để tìm tất cả các tool khả thi nhất (cái này mình load nó vô lúc ứng dụng start - 100 hay 1000 cũng ok, miễn bộ nhớ đủ), thế là nó sẽ search ra dc 1 số tool khả thi nhất, xong rồi LLM sẽ đọc gọi get_schema tool để load hết các metadata của số tool vừa tìm dc này, cuối cùng do có metadata của các tool (ảo) đó thì LLM sẽ viết dc code và dùng execute tool để call nó, lúc này khi execute tool dc gọi nó sẽ load toàn bộ cái sandbox lên và chạy thôi. Hy vọng giúp e hiểu dc cách tiếp cận này. Thân