LLAMA: implement nitro agent (work in progress)

Author: Chris Warren-Smith

llama/llama-sb.cpp

@@ -21,6 +21,15 @@ LlamaIter::LlamaIter() :
   _has_next(false) {
 }
 
+LlamaIter::LlamaIter(LlamaIter &&other) noexcept
+  : _llama(std::exchange(other._llama, nullptr))
+  , _last_word(std::move(other._last_word))
+  , _t_start(std::move(other._t_start))
+  , _repetition_count(other._repetition_count)
+  , _tokens_generated(other._tokens_generated)
+  , _has_next(other._has_next) {
+}
+
 Llama::Llama() :
   _model(nullptr),
   _ctx(nullptr),

llama/llama-sb.h

@@ -20,6 +20,13 @@ struct LlamaIter {
   explicit LlamaIter();
   ~LlamaIter() {}
 
+  // move constructor
+  LlamaIter(LlamaIter &&other) noexcept;
+
+  // delete the copy
+  LlamaIter(const LlamaIter &) = delete;
+  LlamaIter &operator=(const LlamaIter &) = delete;
+
   Llama *_llama;
   string _last_word;
   chrono::high_resolution_clock::time_point _t_start;
@@ -32,7 +39,7 @@ struct Llama {
   explicit Llama();
 
   // move constructor
-  Llama(Llama &&otherLlama) noexcept;
+  Llama(Llama &&other) noexcept;
 
   // delete the copy
   Llama(const Llama &) = delete;

llama/samples/nitro_cli.bas

@@ -197,6 +197,9 @@ func process_input()
   return "<|turn|>user\n" + user_input + "\n<|turn|>\n<|turn|>model"
 end
 
+'
+' creates the llama instance
+'
 func create_llama()
   local llama = llm.llama(model, n_ctx, n_batch, 50)
   llama.add_stop("<|turn|>")
@@ -214,18 +217,8 @@ end
 ' Main process
 '
 sub main()
-  ' note: this construct requires sbasic fixes
-  '  local llama = create_llama()  
-  local llama = llm.llama(model, n_ctx, n_batch, 50)
-  llama.add_stop("<|turn|>")
-  llama.set_max_tokens(n_max_tokens)
-  llama.set_temperature(n_temperature)
-  llama.set_top_k(n_top_k)
-  llama.set_top_p(n_top_p)
-  llama.set_min_p(n_min_p)
-  llama.set_penalty_repeat(n_penalty_repeat)
-  llama.set_penalty_last_n(n_penalty_last_n)
-  
+  ' note: this construct requires recent sbasic fixes
+  local llama = create_llama()
   local iter = llama.generate(initialize_agent())
 
   while 1