fix: allow serialization/deserializationt of Inf/-Inf/NaN

New rapidjson version does not allow Inf/-Inf/NaN by default as the is not part of the JSON spec. This change adds the flag to allow them and raise exception for case where the json is invalid.
jolibrain · Sep 18, 2020 · 976c892 · 976c892
1 parent 3e910b6
commit 976c892
Show file tree

Hide file tree

Showing 20 changed files with 181 additions and 154 deletions.
diff --git a/CMakeLists.txt b/CMakeLists.txt
@@ -97,7 +97,8 @@ if (${PB_GENERATOR_SYSTEM})
 endif()
 
 
-set(CMAKE_CXX_FLAGS "-g -Wall -Wextra -fopenmp -O2 -fPIC -std=c++14 -DUSE_OPENCV -DUSE_LMDB")
+set(CMAKE_CXX_FLAGS "-g -Wall -Wextra -fopenmp -O2 -fPIC -std=c++14 -DUSE_OPENCV -DUSE_LMDB -fdiagnostics-color=always")
+
 
 if (USE_COMMAND_LINE)
   if (NOT USE_CAFFE)

diff --git a/src/apidata.cc b/src/apidata.cc
@@ -200,6 +200,10 @@ namespace dd
           {
             add(cit->name.GetString(), cit->value.GetInt());
           }
+        else
+          {
+            throw DataConversionException("conversion error: unknown type");
+          }
       }
   }
 

diff --git a/src/apidata.h b/src/apidata.h
@@ -303,7 +303,9 @@ namespace dd
       toJDoc(d);
 
       /*rapidjson::StringBuffer buffer;
-      rapidjson::Writer<rapidjson::StringBuffer> writer(buffer);
+      rapidjson::Writer<rapidjson::StringBuffer, rapidjson::UTF8<>,
+                        rapidjson::UTF8<>, rapidjson::CrtAllocator,
+                        rapidjson::kWriteNanAndInfFlag> writer(buffer);
       d.Accept(writer);
       std::string reststring = buffer.GetString();
       std::cout << "to jdoc=" << reststring << std::endl;*/
@@ -466,12 +468,19 @@ namespace dd
     {
       (void)vcv;
       // Not Implemented
+      throw DataConversionException(
+          "JSON conversion of std::vector<cv::Mat> is not supported");
     }
+
     void operator()(const std::vector<std::pair<int, int>> &vpi)
     {
       (void)vpi;
       // Not Implemented
+      throw DataConversionException(
+          "JSON conversion of std::vector<std::pair<int,int>> is not "
+          "supported");
     }
+
     void operator()(const std::vector<APIData> &vad)
     {
       JVal jov(rapidjson::kObjectType);

diff --git a/src/jsonapi.cc b/src/jsonapi.cc
@@ -22,6 +22,7 @@
 #include "jsonapi.h"
 #include "dd_config.h"
 #include "githash.h"
+#include <rapidjson/allocators.h>
 #include <rapidjson/document.h>
 #include <rapidjson/stringbuffer.h>
 #include <rapidjson/reader.h>
@@ -341,16 +342,26 @@ namespace dd
   std::string JsonAPI::jrender(const JDoc &jst) const
   {
     rapidjson::StringBuffer buffer;
-    rapidjson::Writer<rapidjson::StringBuffer> writer(buffer);
-    jst.Accept(writer);
+    rapidjson::Writer<rapidjson::StringBuffer, rapidjson::UTF8<>,
+                      rapidjson::UTF8<>, rapidjson::CrtAllocator,
+                      rapidjson::kWriteNanAndInfFlag>
+        writer(buffer);
+    bool done = jst.Accept(writer);
+    if (!done)
+      throw DataConversionException("JSON rendering failed");
     return buffer.GetString();
   }
 
   std::string JsonAPI::jrender(const JVal &jval) const
   {
     rapidjson::StringBuffer buffer;
-    rapidjson::Writer<rapidjson::StringBuffer> writer(buffer);
-    jval.Accept(writer);
+    rapidjson::Writer<rapidjson::StringBuffer, rapidjson::UTF8<>,
+                      rapidjson::UTF8<>, rapidjson::CrtAllocator,
+                      rapidjson::kWriteNanAndInfFlag>
+        writer(buffer);
+    bool done = jval.Accept(writer);
+    if (!done)
+      throw DataConversionException("JSON rendering failed");
     return buffer.GetString();
   }
 
@@ -361,7 +372,7 @@ namespace dd
     if (!jstr.empty())
       {
         rapidjson::Document d;
-        d.Parse(jstr.c_str());
+        d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
         if (d.HasParseError())
           {
             _logger->error("JSON parsing error on string: {}", jstr);
@@ -428,7 +439,7 @@ namespace dd
       }
 
     rapidjson::Document d;
-    d.Parse(jstr.c_str());
+    d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
     if (d.HasParseError())
       {
         _logger->error("JSON parsing error on string: {}", jstr);
@@ -1013,7 +1024,7 @@ namespace dd
     rapidjson::Document d;
     if (!jstr.empty())
       {
-        d.Parse(jstr.c_str());
+        d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
         if (d.HasParseError())
           {
             _logger->error("JSON parsing error on string: {}", jstr);
@@ -1056,7 +1067,7 @@ namespace dd
   JDoc JsonAPI::service_predict(const std::string &jstr)
   {
     rapidjson::Document d;
-    d.Parse(jstr.c_str());
+    d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
     if (d.HasParseError())
       {
         _logger->error("JSON parsing error on string: {}", jstr);
@@ -1187,7 +1198,7 @@ namespace dd
   JDoc JsonAPI::service_train(const std::string &jstr)
   {
     rapidjson::Document d;
-    d.Parse(jstr.c_str());
+    d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
     if (d.HasParseError())
       {
         _logger->error("JSON parsing error on string: {}", jstr);
@@ -1290,7 +1301,7 @@ namespace dd
   JDoc JsonAPI::service_train_status(const std::string &jstr)
   {
     rapidjson::Document d;
-    d.Parse(jstr.c_str());
+    d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
     if (d.HasParseError())
       {
         _logger->error("JSON parsing error on string: {}", jstr);
@@ -1422,7 +1433,7 @@ namespace dd
   JDoc JsonAPI::service_train_delete(const std::string &jstr)
   {
     rapidjson::Document d;
-    d.Parse(jstr.c_str());
+    d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
     if (d.HasParseError())
       {
         _logger->error("JSON parsing error on string: {}", jstr);
@@ -1487,7 +1498,7 @@ namespace dd
                               const std::string &jstr)
   {
     rapidjson::Document d;
-    d.Parse(jstr.c_str());
+    d.Parse<rapidjson::kParseNanAndInfFlag>(jstr.c_str());
     if (d.HasParseError())
       {
         _logger->error("JSON parsing error on string: {}", jstr);
@@ -1620,7 +1631,7 @@ namespace dd
         return 1;
       }
     rapidjson::Document d;
-    d.Parse(buffer.str().c_str());
+    d.Parse<rapidjson::kParseNanAndInfFlag>(buffer.str().c_str());
     if (d.HasParseError())
       {
         return 1;

diff --git a/src/mlmodel.h b/src/mlmodel.h
@@ -292,7 +292,7 @@ namespace dd
       std::stringstream jbuf;
       jbuf << is.rdbuf();
       rapidjson::Document d;
-      d.Parse(jbuf.str().c_str());
+      d.Parse<rapidjson::kParseNanAndInfFlag>(jbuf.str().c_str());
       if (d.HasParseError())
         {
           logger->error("config.json parsing error on string: {}", jbuf.str());

diff --git a/tests/opencv_tensor.cc b/tests/opencv_tensor.cc
@@ -140,4 +140,4 @@ int main(int argc, char **argv)
   cv::imshow("imgOpencv",Image);
 
   */
-}
+}
diff --git a/tests/ut-caffe2api.cc b/tests/ut-caffe2api.cc
@@ -158,14 +158,16 @@ inline void create(JsonAPI &japi, const std::string &json)
 
 inline void predict(JsonAPI &japi, JDoc &jd, const std::string &json)
 {
-  jd.Parse(japi.jrender(japi.service_predict(json)).c_str());
+  jd.Parse<rapidjson::kParseNanAndInfFlag>(
+      japi.jrender(japi.service_predict(json)).c_str());
   ASSERT_TRUE(!jd.HasParseError());
   ASSERT_EQ(200, jd["status"]["code"]);
 }
 
 inline void train(JsonAPI &japi, JDoc &jd, const std::string &json)
 {
-  jd.Parse(japi.jrender(japi.service_train(json)).c_str());
+  jd.Parse<rapidjson::kParseNanAndInfFlag>(
+      japi.jrender(japi.service_train(json)).c_str());
   ASSERT_TRUE(!jd.HasParseError());
   ASSERT_EQ(201, jd["status"]["code"].GetInt());
   ASSERT_EQ("Created", jd["status"]["msg"]);